Unix-Befehl zum Suchen von Zeilen, die in zwei Dateien gemeinsam sind

Ich bin sicher, ich habe einmal einen Unix-Befehl gefunden, der die gemeinsamen Zeilen aus zwei oder mehr Dateien drucken kann. Kennt jemand seinen Namen? Es war viel einfacher als diff.

Der Befehl, den Sie suchen, ist comm. z.B:-

comm -12 1.sorted.txt 2.sorted.txt

Hier:

-1 : Spalte 1 unterdrücken (Zeilen eindeutig für 1.sorted.txt)

-2 : Spalte 2 unterdrücken (Zeilen eindeutig für 2.sorted.txt)

Verwenden Sie die Prozessersetzung von Bash, um den Befehl comm einfach auf unsortierte Dateien anzuwenden :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Die Dateien abc und def haben also eine Zeile gemeinsam, die mit "132". Verwenden von comm für unsortierte Dateien:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

Die letzte Zeile erzeugte keine Ausgabe, die gemeinsame Zeile wurde nicht entdeckt.

Verwenden Sie jetzt comm für sortierte Dateien und sortieren Sie die Dateien mit Prozessersetzung:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Jetzt haben wir die Linie 132!

Als Ergänzung zum Perl-Einzeiler ist hier das awkÄquivalent:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Dadurch werden alle Zeilen file1in das Array eingelesen arr[]und anschließend für jede Zeile überprüft, file2ob sie bereits im Array vorhanden ist (dh file1). Die gefundenen Zeilen werden in der Reihenfolge gedruckt, in der sie angezeigt werden file2. Beachten Sie, dass der Vergleich in arrdie gesamte Zeile von file2als Index für das Array verwendet, sodass nur genaue Übereinstimmungen für ganze Zeilen gemeldet werden.

Vielleicht meinst du comm?

Vergleichen Sie die sortierten Dateien FILE1 und FILE2 zeilenweise.

Erstellen Sie ohne Optionen eine dreispaltige Ausgabe. Spalte eins enthält Zeilen, die für FILE1 eindeutig sind, Spalte zwei enthält Zeilen, die für FILE2 eindeutig sind, und Spalte drei enthält Zeilen, die beiden Dateien gemeinsam sind.

Das Geheimnis beim Auffinden dieser Informationen sind die Infoseiten. Für GNU-Programme sind sie viel detaillierter als ihre Manpages. Versuchen Sie es info coreutilsund es werden Ihnen alle kleinen nützlichen Hilfsprogramme aufgelistet.

Während

grep -v -f 1.txt 2.txt > 3.txt

gibt Ihnen die Unterschiede von zwei Dateien (was in 2.txt und nicht in 1.txt ist), könnten Sie leicht eine tun

grep -f 1.txt 2.txt > 3.txt

alle gemeinsamen Zeilen zu sammeln, die eine einfache Lösung für Ihr Problem bieten sollten. Wenn Sie Dateien sortiert haben, sollten Sie commtrotzdem nehmen . Grüße!

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

Wenn die beiden Dateien noch nicht sortiert sind, können Sie Folgendes verwenden:

comm -12 <(sort a.txt) <(sort b.txt)

und es wird funktionieren, um die Fehlermeldung zu vermeiden , comm: file 2 is not in sorted order wenn dabei comm -12 a.txt b.txt.

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Auf einer eingeschränkten Linux-Version (wie einem QNAP (nas), an dem ich gearbeitet habe):

• comm existierte nicht
• grep -f file1 file2kann einige Probleme verursachen, wie von @ChristopherSchultz gesagt, und die Verwendung grep -F -f file1 file2war sehr langsam (mehr als 5 Minuten - nicht beendet - über 2-3 Sekunden mit der folgenden Methode bei Dateien über 20 MB)

Also hier ist was ich getan habe:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Wenn files.same.sortedes in derselben Reihenfolge wie die ursprünglichen gewesen sein soll, fügen Sie diese Zeile in derselben Reihenfolge wie Datei1 hinzu:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

oder für dieselbe Reihenfolge wie Datei2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Nur als Referenz, wenn noch jemand nach Möglichkeiten sucht, dies für mehrere Dateien zu tun, lesen Sie die verknüpfte Antwort auf Suchen nach übereinstimmenden Zeilen in vielen Dateien.

Wenn Sie diese beiden Antworten ( ans1 und ans2 ) kombinieren , können Sie das gewünschte Ergebnis erzielen , ohne die Dateien zu sortieren:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Speichern Sie es einfach, geben Sie ihm Ausführungsrechte ( chmod +x compareFiles.sh) und führen Sie es aus. Es werden alle im aktuellen Arbeitsverzeichnis vorhandenen Dateien verwendet und ein All-vs-All-Vergleich durchgeführt, wobei das Ergebnis in der Datei "Matching_lines" verbleibt.

Dinge, die verbessert werden müssen:

• Verzeichnisse überspringen
• Vermeiden Sie es, alle Dateien zweimal zu vergleichen (Datei1 gegen Datei2 und Datei2 gegen Datei1).
• Fügen Sie möglicherweise die Zeilennummer neben der passenden Zeichenfolge hinzu

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Das sollte es tun.