Gibt es ein Tool, um die Zeilen in einer Datei abzurufen, die sich nicht in einer anderen befinden?

Gibt es ein Tool, das Zeilen abrufen kann, die in Datei A enthalten sind, in Datei B jedoch nicht? Ich könnte ein kleines einfaches Skript mit zB Perl schreiben, aber wenn so etwas schon existiert, werde ich von jetzt an meine Zeit sparen.

Ja. Das Standardwerkzeug grepzum Durchsuchen von Dateien nach Textzeichenfolgen kann verwendet werden, um alle Zeilen in einer Datei von einer anderen zu subtrahieren.

grep -F -x -v -f fileB fileA

Dies funktioniert, indem jede Zeile in DateiB als Muster ( -f fileB) und als einfache Zeichenfolge (nicht als regulärer regulärer Ausdruck) ( -F) behandelt wird. Sie erzwingen die Übereinstimmung in der gesamten Zeile ( -x) und drucken nur die Zeilen aus, die nicht übereinstimmen ( -v). Aus diesem Grund drucken Sie die Zeilen in Datei A aus, die nicht dieselben Daten wie die Zeilen in Datei B enthalten.

Der Nachteil dieser Lösung ist, dass die Zeilenreihenfolge nicht berücksichtigt wird. Wenn Ihre Eingabe doppelte Zeilen an verschiedenen Stellen enthält, erhalten Sie möglicherweise nicht das, was Sie erwarten. Die Lösung hierfür ist die Verwendung eines echten Vergleichstools wie z diff. Sie könnten dies tun, indem Sie eine Diff-Datei mit dem Kontextwert in 100% der Zeilen in der Datei erstellen und dann nur die Zeilen analysieren, die beim Konvertieren von Datei A in Datei B entfernt würden. _{(Beachten Sie, dass dieser Befehl auch das Diff entfernt Formatierung, nachdem es die richtigen Linien bekommt.)}

diff -U $(wc -l < fileA) fileA fileB | sed -n 's/^-//p' > fileC

Die Antwort hängt stark von der Art und dem Format der zu vergleichenden Dateien ab.

Wenn die Dateien, die Sie vergleichen, sortierte Textdateien sind, kann das von Richard Stallman und Davide McKenzie aufgerufene GNU-Tool die von commIhnen gewünschte Filterung durchführen. Es ist Teil der Coreutils.

Beispiel

Angenommen, Sie haben die folgenden 2 Dateien:

$ cat a
1
2
3
4
5

$ cat b
1
2
3
4
5
6

Zeilen in der Datei b, die nicht in der Datei enthalten sind a:

$ comm <(sort a) <(sort b) -3
    6

von stackoverflow ...

komm -23 datei1 datei2

-23 unterdrückt die Zeilen, die sich in beiden Dateien oder nur in Datei 2 befinden. Die Dateien müssen sortiert werden (sie sind in Ihrem Beispiel), aber wenn nicht, leiten Sie sie zuerst durch sort ...

Siehe die Manpage hier

Die Methoden grep und comm (with sort) nehmen bei großen Dateien viel Zeit in Anspruch. SiegeX und ghostdog74 haben zwei großartige awk-Methoden zum Extrahieren von Zeilen verwendet, die nur für eine von zwei Dateien im Stapelüberlauf gelten:

$ awk 'FNR==NR{a[$0]++}FNR!=NR && !a[$0]{print}' file1 file2

$ awk 'FNR==NR{a[$0]++;next}(!($0 in a))' file1 file2

Wenn die Dateien groß sind und Sie keine benutzerdefinierte Reihenfolge für Ihre Einträge haben, dauert grep viel zu lange. Eine schnelle Alternative wäre

sort file1 > 1 
sort file2 > 2 
diff 1 2 | grep "\>" | sed -e 's/> //'

[file2-file1 führt zum Screen, Pipe zur Datei usw.]

Ändern >zu <würde die entgegengesetzte Subtraktion erhalten.rm 1 2

Sie können auch vimdiff in Betracht ziehen, um die Unterschiede zwischen Dateien in einem vim-Editor hervorzuheben