Unix & Linux split

8

Teilen Sie die Textdatei in Zeilen mit einer festen Anzahl von Wörtern

Verwandte, aber keine zufriedenstellenden Antworten: Wie kann ich eine große Textdatei in Abschnitte mit etwa 500 Wörtern aufteilen? Ich versuche, eine Textdatei ( http://mattmahoney.net/dc/text8.zip ) mit> 10 ^ 7 Wörtern in einer Zeile zu erstellen und in Zeilen mit jeweils N Wörtern aufzuteilen. Mein aktueller Ansatz funktioniert, ist aber ziemlich …

11 text-processing sed awk split

7

Aufteilen eines großen Verzeichnisbaums in Blöcke mit der angegebenen Größe?

Ich habe einen Verzeichnisbaum, den ich auf optischen Datenträgern sichern möchte. Leider überschreitet es die Größe einer Festplatte (etwa 60 GB). Ich suche nach einem Skript, das diesen Baum in entsprechend große Teile mit harten Links oder so weiter aufteilt (wobei das Original unberührt bleibt). Ich könnte diese mundgerechten Bäume …

11 backup disk-usage split burning

4

Erstellen eines einzelnen Ausgabestreams aus drei anderen parallel erzeugten Streams

Ich habe drei Arten von Daten, die in verschiedenen Formaten vorliegen. Für jeden Datentyp gibt es ein Python-Skript, das ihn in ein einheitliches Format umwandelt. Dieses Python-Skript ist langsam und CPU-gebunden (an einen einzelnen Kern auf einem Multi-Core-Computer). Daher möchte ich drei Instanzen davon ausführen - eine für jeden Datentyp …

10 text-processing pipe split parallelism

1

Schätzung der unkomprimierten Datei falsch?

Ich hatte eine große (~ 60G) komprimierte Datei ( tar.gz). Ich habe splites in 4 Teile zerlegt und sie dann catwieder zusammengefügt. Wenn ich jetzt jedoch versuche, die Größe der unkomprimierten Datei zu schätzen, stellt sich heraus, dass sie kleiner als das Original ist. Wie ist das möglich? $ gzip …

9 compression gzip split

7

Wie kann eine große Textdatei effizient aufgeteilt werden, ohne dass mehrzeilige Datensätze aufgeteilt werden?

Ich habe eine große Textdatei (~ 50 GB, wenn gz'ed). Die Datei enthält 4*NZeilen oder NDatensätze. Das heißt, jeder Datensatz besteht aus 4 Zeilen. Ich möchte diese Datei in 4 kleinere Dateien aufteilen, die jeweils ungefähr 25% der Eingabedatei ausmachen. Wie kann ich die Datei an der Datensatzgrenze aufteilen? Ein …

9 text-processing sed awk split wc

4

Verwenden von GNU parallel zu Split

Ich lade eine ziemlich gigantische Datei in eine Postgresql-Datenbank. Dazu verwende ich zuerst splitin der Datei kleinere Dateien (jeweils 30 GB) und lade dann jede kleinere Datei mit GNU Parallelund in die Datenbank psql copy. Das Problem ist, dass das Teilen der Datei ungefähr 7 Stunden dauert und dann eine …

9 files split gnu-parallel

4

Teilen Sie eine einzelne Zeichenfolge mit NUR Bash in ein Zeichenarray auf

Ich möchte aufgeteilt 'hello'in h e l l onur bash unter Verwendung in einem Array, konnte ich es mit in sed tun , sed 's/./& /g'aber ich möchte wissen , wie eine Zeichenfolge in ein Array in Bash aufzuspalten , wenn ich nicht weiß , was das Trennzeichen wäre, oder …

9 bash string split

4

Aufteilen der Datei für jeweils 10000 Zahlen (keine Zeilen)

Ich habe eine Datei, die wie folgt aussieht: chr19 61336212 + 0 0 CG CGT chr19 61336213 - 0 0 CG CGG chr19 61336218 + 0 0 CG CGG chr19 61336219 - 0 0 CG CGC chr19 61336268 + 0 0 CG CGG chr19 61336269 - 0 0 CG CGA …

8 text-processing awk split

6

Teilen Sie große Dateien in Blöcke auf, ohne den Eintrag zu teilen

8 text-processing split

1

K3b zum Aufteilen des Volumens auf mehrere Medien

Wie kann ich K3b dazu bringen, ein Volume auf mehrere Medien aufzuteilen? Wenn ich ihm beispielsweise einen Ordner mit 6 GB (nicht eine Datei mit 6 GB) gebe, sollte er automatisch mehrere Discs mit 4,4 GB erstellen, anstatt dass ich dies manuell mache. Wenn K3B das nicht kann, gibt es …

8 iso split mkisofs

3

Bash hat eine Liste von Dateien aufgeteilt

Ich habe 200 Dateien in einem Ordner wie: test_1_cfg.dat, test_2_cfg.dat, .... und so weiter. Ich muss die ersten 40 Dateien als Eingabe in ein Bash-Skript aufnehmen und einen Prozess ausführen, ein anderes Skript, um die nächsten 40 Dateien zu lesen und einen anderen Prozess auszuführen. Also habe ich mir überlegt, …

8 bash shell-script split

2

Kann ich die Multi-Volume-Funktion von tar automatisieren?

Ok, ich habe diese Seite gerade durchgelesen, um meine aktuelle Backup-Lösung auf meinem Debian-Server zu verbessern. Tar scheint eine ziemlich nette Funktion mit mehreren Bänden anzubieten, obwohl ich beim Ausprobieren dazu aufgefordert werde Prepare volume #X for ‘mybackup.tar.gz’ and hit return:. Wie soll ich dies automatisieren, da ich diese Funktion …

8 bash backup cron tar split

3

So teilen Sie eine Zeichenfolge durch das dritte (Punkt-) Trennzeichen

Ich habe ein paar Nachforschungen angestellt, ich kann die Zeichenfolge durch '.' Aber das einzige, was ich ersetzen möchte, ist das dritte '.', und die Versionsnummer ist tatsächlich variabel. Wie kann ich das Ersetzen / Teilen durchführen? version: 1.8.0.110 aber was ich will, ist die Ausgabe wie folgt: version: 1.8.0-110

7 bash shell string split

4

Wie kann man Text zwischen Trennzeichen in mehrere Dateien aufteilen?

Ich habe eine Textdatei mit folgendem Inhalt: "random textA" "random random textB" Das Trennzeichen ist " Wie kann ich den Containt mit einem Bash-Befehl wie folgt in mehrere Dateien aufteilen? Datei 1: random textA Datei 2: random random textB Ich bin auf Beispiele mit csplitoder gekommen, awkaber sie decken dieses …

7 bash text-processing split

3

Teilen Sie die Zeilen einer Textdatei in separate Dateien auf

Ich habe eine Textdatei, die ungefähr so aussieht: foo bar zip rar tar Ich muss ein Bash-Skript unter OSX verwenden, um nach jeder neuen Zeile wie folgt eine neue Textdatei zu erstellen: cat text1.txt foo cat text2.txt bar cat text3.txt zip cat text4.txt rar cat text5.txt tar

7 shell-script text-processing split

Als «split» getaggte Fragen