Wie lösche ich aus einer Textdatei alle Zeilen, die eine bestimmte Zeichenfolge enthalten?

Wie würde ich sed verwenden, um alle Zeilen in einer Textdatei zu löschen, die eine bestimmte Zeichenfolge enthalten?

So entfernen Sie die Zeile und drucken die Ausgabe als Standard aus:

sed '/pattern to match/d' ./infile

So ändern Sie die Datei direkt - funktioniert nicht mit BSD sed:

sed -i '/pattern to match/d' ./infile

Gleich, aber für BSD sed (Mac OS X und FreeBSD) - funktioniert nicht mit GNU sed:

sed -i '' '/pattern to match/d' ./infile

So ändern Sie die Datei direkt (und erstellen ein Backup) - funktioniert mit BSD und GNU sed:

sed -i.bak '/pattern to match/d' ./infile

Es gibt viele andere Möglichkeiten, Zeilen mit einer bestimmten Zeichenfolge zu löschen sed:

AWK

awk '!/pattern/' file > temp && mv temp file

Rubin (1,9+)

ruby -i.bak -ne 'print if not /test/' file

Perl

perl -ni.bak -e "print unless /pattern/" file

Shell (Bash 3.2 und höher)

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

Und natürlich sed(das Drucken der Umkehrung ist schneller als das tatsächliche Löschen):

sed -n '/pattern/!p' file

Sie können sed verwenden, um Zeilen in einer Datei zu ersetzen. Es scheint jedoch viel langsamer zu sein, als grep für die Umkehrung in eine zweite Datei zu verwenden und dann die zweite Datei über das Original zu verschieben.

z.B

sed -i '/pattern/d' filename      

oder

grep -v "pattern" filename > filename2; mv filename2 filename

Der erste Befehl dauert auf meinem Computer sowieso dreimal länger.

Der einfache Weg, dies mit GNU zu tun sed:

sed --in-place '/some string here/d' yourfile

Sie können Folgendes in Betracht ziehen ex(dies ist ein standardmäßiger befehlsbasierter Unix-Editor):

ex +g/match/d -cwq file

wo:

• +führt den angegebenen Ex-Befehl ( man ex) aus, -cder auch ausgeführt wird wq(Schreiben und Beenden)
• g/match/d- Ex-Befehl zum Löschen von Zeilen mit gegebenem match, siehe: Potenz von g

Das obige Beispiel ist eine POSIX-kompatible Methode zum direkten Bearbeiten einer Datei gemäß diesem Beitrag unter Unix.SE- und POSIX-Spezifikationen fürex .

Der Unterschied zu sedist, dass:

sedist ein S tream ED itor, kein Dateieditor. ^BashFAQ

Es sei denn, Sie genießen nicht portierbaren Code, E / A-Overhead und einige andere schlimme Nebenwirkungen. Grundsätzlich sind einige Parameter (wie z. B. in-place / -i) nicht standardmäßige FreeBSD-Erweiterungen und möglicherweise unter anderen Betriebssystemen nicht verfügbar.

Ich hatte auf dem Mac damit zu kämpfen. Außerdem musste ich es mit variablem Ersatz machen.

Also habe ich verwendet:

sed -i '' "/$pattern/d" $file

Wo $fileist die Datei, in der das Löschen erforderlich ist, und wo $patternist das Muster, das zum Löschen abgeglichen werden soll?

Ich habe das ''aus diesem Kommentar ausgewählt .

Hier ist die Verwendung von doppelten Anführungszeichen in zu beachten "/$pattern/d". Variable funktioniert nicht, wenn wir einfache Anführungszeichen verwenden.

Ich habe einen kleinen Benchmark mit einer Datei erstellt, die ungefähr 345 000 Zeilen enthält. Der Weg mit grepscheint sedin diesem Fall etwa 15-mal schneller zu sein als die Methode.

Ich habe sowohl mit als auch ohne die Einstellung LC_ALL = C versucht, es scheint die Timings nicht wesentlich zu ändern. Die Suchzeichenfolge (CDGA_00004.pdbqt.gz.tar) befindet sich irgendwo in der Mitte der Datei.

Hier sind die Befehle und die Timings:

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

Sie können dies auch verwenden:

 grep -v 'pattern' filename

Hier -vwird nur ein anderes Muster als Ihr Muster gedruckt (dies bedeutet, dass die Übereinstimmung umgekehrt wird).

Um ein inplace-ähnliches Ergebnis zu erzielen grep, können Sie Folgendes tun:

echo "$(grep -v "pattern" filename)" >filename

SED:

• '/James\|John/d'
• -n '/James\|John/!p'

AWK:

• '!/James|John/'
• /James|John/ {next;} {print}

GREP:

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

Der erste Befehl bearbeitet die Datei (en) an Ort und Stelle (-i).

Der zweite Befehl macht dasselbe, behält jedoch eine Kopie oder Sicherung der Originaldatei (en) bei, indem .bk zu den Dateinamen hinzugefügt wird (.bk kann in irgendetwas geändert werden).

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

Nur für den Fall, dass jemand dies für genaue Übereinstimmungen von Zeichenfolgen tun möchte, können Sie das -wFlag in grep - w für das Ganze verwenden. Das heißt, wenn Sie beispielsweise die Zeilen mit der Nummer 11 löschen möchten, aber die Zeilen mit der Nummer 111 beibehalten möchten:

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

Es funktioniert auch mit dem -fFlag, wenn Sie mehrere exakte Muster gleichzeitig ausschließen möchten. Wenn "Blacklist" eine Datei mit mehreren Mustern in jeder Zeile ist, die Sie aus "Datei" löschen möchten:

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

um den behandelten Text in der Konsole anzuzeigen

cat filename | sed '/text to remove/d' 

um behandelten Text in einer Datei zu speichern

cat filename | sed '/text to remove/d' > newfile

behandelte Textinformationen an eine vorhandene Datei anhängen

cat filename | sed '/text to remove/d' >> newfile

Um bereits behandelten Text zu behandeln, entfernen Sie in diesem Fall mehr Zeilen von dem, was entfernt wurde

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

Das | morewird Text in Blöcken von jeweils einer Seite anzeigen.

Sie können gute alte verwenden edin ähnlicher Weise , um eine Datei zu bearbeiten die Antwort , dass Anwendungen ex. Der große Unterschied in diesem Fall besteht darin, dass eddie Befehle über die Standardeingabe und nicht als Befehlszeilenargumente wie excan verwendet werden. Wenn Sie es in einem Skript verwenden, können Sie dies normalerweise verwenden, indem Sie printfBefehle an das Skript weiterleiten :

printf "%s\n" "g/pattern/d" w | ed -s filename

oder mit einem Heredoc:

ed -s filename <<EOF
g/pattern/d
w
EOF