Ersetzen Sie die Zeichenfolge mit dem Zeilenumbruch in einer großen Datei

Kennt jemand ein nicht zeilenbasiertes Tool zum "binären" Suchen / Ersetzen von Zeichenfolgen auf etwas speichereffiziente Weise? Siehe auch diese Frage .

Ich habe eine + 2GB-Textdatei, die ich ähnlich wie diese verarbeiten möchte:

sed -e 's/>\n/>/g'

Das heißt, ich möchte alle Zeilenumbrüche entfernen, die nach einem auftreten >, aber nirgendwo anders, damit das ausschließt tr -d.

Dieser Befehl (den ich aus der Antwort auf eine ähnliche Frage erhalten habe ) schlägt fehl mit couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Gibt es also andere Methoden, ohne auf C zurückzugreifen? Ich hasse Perl, bin aber bereit, in diesem Fall eine Ausnahme zu machen :-)

Ich weiß nicht genau, welches Zeichen in den Daten nicht vorkommt, daher \nmöchte ich es nach Möglichkeit vermeiden , es vorübergehend durch ein anderes Zeichen zu ersetzen .

Irgendwelche guten Ideen?

Das ist in Perl wirklich trivial, du solltest es nicht hassen!

perl -i.bak -pe 's/>\n/>/' file

Erläuterung

• -i: Bearbeiten Sie die Datei an Ort und Stelle, und erstellen Sie eine Sicherungskopie des aufgerufenen Originals file.bak. Wenn Sie keine Sicherung wünschen, verwenden Sie perl -i -pestattdessen einfach .
• -pe: Lies die Eingabedatei Zeile für Zeile und drucke jede Zeile nach dem Anwenden des Skripts aus -e.
• s/>\n/>/: die Substitution, genau wie sed.

Und hier ist ein awkAnsatz:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

Eine perlLösung:

$ perl -pe 's/(?<=>)\n//'

Erklärung

• s/// wird für die Zeichenfolgensubstitution verwendet.
• (?<=>) ist ein Lookbehind-Muster.
• \n stimmt mit newline überein.

Das ganze Muster bedeutet, dass alle Zeilenumbrüche entfernt werden, die >davor stehen.

Wie wäre es damit:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Bei GNU sed können Sie auch versuchen, die Option -u( --unbuffered) gemäß der Frage hinzuzufügen . GNU sed ist damit auch als einfacher Einzeiler zufrieden:

sed ':loop />$/ { N; s/\n//; b loop }' file

Sie sollten in der Lage sein, sedden NBefehl zu verwenden, aber der Trick besteht darin, bei jedem Hinzufügen einer weiteren Zeile eine Zeile aus dem Musterbereich zu löschen (sodass der Musterbereich immer nur zwei aufeinanderfolgende Zeilen enthält, anstatt zu versuchen, das Ganze einzulesen Datei) - versuchen

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: nach dem erneuten Lesen von Peteris Krumins ' Famous Sed One-Liners Explained glaube ich, dass eine bessere sedLösung wäre

sed -e :a -e '/>$/N; s/\n//; ta'

Dies hängt die folgende Zeile nur an, wenn sie bereits >am Ende übereinstimmt, und sollte eine bedingte Schleife ausführen , um den Fall aufeinanderfolgender übereinstimmender Zeilen zu behandeln (dies ist Krumins 39. Fügen Sie eine Zeile an die nächste an, wenn sie mit einem Backslash endet "\" genau mit Ausnahme der Ersetzung von >for \als Verknüpfungszeichen und der Tatsache, dass das Verknüpfungszeichen in der Ausgabe beibehalten wird).

sedbietet keine Möglichkeit, eine Ausgabe ohne eine letzte neue Zeile auszugeben. Ihre Vorgehensweise mit der Verwendung von Nfunktioniert grundsätzlich, speichert jedoch unvollständige Zeilen im Speicher und kann daher fehlschlagen, wenn die Zeilen zu lang werden (sed-Implentationen sind normalerweise nicht für extrem lange Zeilen ausgelegt).

Sie können stattdessen awk verwenden.

awk '{if (/<$/) printf "%s", $0; else print}'

Ein alternativer Ansatz besteht darin tr, das Newline-Zeichen durch ein "langweiliges", häufig vorkommendes Zeichen zu ersetzen. Hier könnte Platz funktionieren - wählen Sie ein Zeichen, das in jeder Zeile oder zumindest in einem großen Teil der Zeilen in Ihren Daten vorkommt.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

was ist mit ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(via http://wiki.bash-hackers.org/howto/edit-ed )

Am Ende habe ich gsar verwendet, wie in der folgenden Antwort beschrieben :

gsar -F '-s>:x0A' '-r>'

Es gibt viele Möglichkeiten, dies zu tun, und die meisten hier sind wirklich gut, aber ich denke, dies ist mein Favorit:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

Oder auch:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'