Datei in zwei Teile teilen, nach einem Muster

Wie teilt man eine große Datei in zwei Teile, nach einem Muster?

Ein Beispiel gegeben file.txt:

ABC
EFG
XYZ
HIJ
KNL

Ich möchte diese Datei XYZso aufteilen, dass sie file1die Zeilen bis zu XYZund den Rest der Zeilen enthält file2.

Mit awkkönnen Sie:

awk '{print >out}; /XYZ/{out="file2"}' out=file1 largefile

Erläuterung: Das erste awkArgument ( out=file1) definiert eine Variable mit dem Dateinamen, die für die Ausgabe verwendet wird, während das nachfolgende Argument ( largefile) verarbeitet wird. Das awkProgramm druckt alle Zeilen in die durch die Variable out( {print >out}) angegebene Datei . Wenn das Muster gefunden XYZwird, wird die Ausgabevariable neu definiert, um auf die neue Datei ( {out="file2}") zu verweisen, die als Ziel zum Drucken der nachfolgenden Datenzeilen verwendet wird.

Verweise:

• Handbuch zu gawk: Umleitung http://www.gnu.org/software/gawk/manual/html_node/Redirection.html#Redirection

Dies ist ein Job für csplit:

csplit -sf file -n 1 large_file /XYZ/

würde silently die Akte aufteilen und Stücke mit pre verursachenf ix fileund numbered eine einzelne Ziffer, zB unter Verwendung file0usw. Beachten Sie, dass mit /regex/, würde sich trennen , aber nicht einschließlich der Linie , dass Streichhölzer regex. Fügen Sie einen Versatz hinzu, um die Zeilenübereinstimmung aufzuteilen und einzuschließen:regex+1

csplit -sf file -n 1 large_file /XYZ/+1

Dadurch entstehen zwei Dateien, file0und file1. Wenn Sie unbedingt einen Namen benötigen file1und file2dem csplitBefehl immer ein leeres Muster hinzufügen und die erste Datei entfernen möchten:

csplit -sf file -n 1 large_file // /XYZ/+1

schafft file0 , file1und file2doch file0ist leer , so dass Sie es sicher entfernen können:

rm -f file0

Mit einem modernen ksh hier ist eine Shell-Variante (dh ohne sed) einer der sedoben genannten Antworten:

{ read in <##XYZ ; print "$in" ; cat >file2 ;} <largefile >file1

Und noch eine Variante in ksh alleine (also auch weglassen cat):

{ read in <##XYZ ; print "$in" ; { read <##"" ;} >file2 ;} <largefile >file1

(Die reine kshLösung scheint ziemlich performant zu sein; bei einer 2,4-GB-Testdatei dauerte es 19-21 Sekunden, verglichen mit 39-47 Sekunden bei der sed/cat -basierten Ansatz).

{ sed '/XYZ/q' >file1; cat >file2; } <infile

Bei GNU sedsollten Sie den -uSchalter nbuffered verwenden. Die meisten anderen seds sollten jedoch funktionieren.

XYZ weglassen ...

{ sed -n '/XYZ/q;p'; cat >file2; } <infile >file1

Versuchen Sie dies mit GNU sed:

sed -n -e '1,/XYZ/w file1' -e '/XYZ/,${/XYZ/d;w file2' -e '}' large_file

Ein einfacher Hack besteht darin, entweder auf STDOUT oder STDERR zu drucken, je nachdem, ob das Zielmuster übereinstimmt. Sie können dann die Umleitungsoperatoren der Shell verwenden , um die Ausgabe entsprechend umzuleiten. Beispiel: In Perl wird angenommen, dass die Eingabedatei aufgerufen wird fund die beiden Ausgabedateien f1und f2:

1. Verwerfen der Linie, die dem Aufteilungsmuster entspricht:

   perl -ne 'if(/XYZ/){$a=1; next} ; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

2. Einschließlich der übereinstimmenden Zeile:

   perl -ne '$a=1 if /XYZ/; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

Alternativ können Sie auch in andere Dateizugriffsnummern drucken:

1. Verwerfen der Linie, die dem Aufteilungsmuster entspricht:

   perl -ne 'BEGIN{open($fh1,">","f1");open($fh2,">","f2");}
   if(/XYZ/){$a=1; next}$a==1 ? print $fh1 "$_" : print $fh2 "$_";' f

2. Einschließlich der übereinstimmenden Zeile:

   perl -ne 'BEGIN{open($fh1,">","f1"); open($fh2,">","f2");}
             $a=1 if /XYZ/; $a==1 ? print $fh1 "$_" : print $fh2 "$_";' f