Vergleichen von zwei Dateien im Linux-Terminal

Es gibt zwei Dateien mit den Namen "a.txt" und "b.txt", die beide eine Liste von Wörtern enthalten. Jetzt möchte ich überprüfen, welche Wörter in "a.txt" extra sind und welche nicht in "b.txt" .

Ich brauche einen effizienten Algorithmus, da ich zwei Wörterbücher vergleichen muss.

Wenn Sie vim installiert haben, versuchen Sie Folgendes:

vimdiff file1 file2

oder

vim -d file1 file2

Sie werden es fantastisch finden.

Sortieren Sie sie und verwenden Sie comm:

comm -23 <(sort a.txt) <(sort b.txt)

commvergleicht (sortierte) Eingabedateien und gibt standardmäßig drei Spalten aus: Zeilen, die für a eindeutig sind, Zeilen, die für b eindeutig sind, und Zeilen, die in beiden vorhanden sind. Durch die Angabe -1, -2und / oder -3Sie können die entsprechende Ausgabe zu unterdrücken. comm -23 a bListet daher nur die Einträge auf, die für a eindeutig sind. Ich benutze die <(...)Syntax, um die Dateien im laufenden Betrieb zu sortieren. Wenn sie bereits sortiert sind, brauchen Sie diese nicht.

Try sdiff( man sdiff)

sdiff -s file1 file2

Sie können das diffTool unter Linux verwenden, um zwei Dateien zu vergleichen. Sie können die Optionen --changed-group-format und --unchanged-group-format verwenden , um die erforderlichen Daten zu filtern.

Die folgenden drei Optionen können verwendet werden, um die relevante Gruppe für jede Option auszuwählen:

• '% <' ruft Zeilen aus FILE1 ab

• '%>' ruft Zeilen aus FILE2 ab

• '' (leere Zeichenfolge) zum Entfernen von Zeilen aus beiden Dateien.

Beispiel: diff --changed-group-format = "% <" --unchanged-group-format = "" file1.txt file2.txt

[root@vmoracle11 tmp]# cat file1.txt 
test one
test two
test three
test four
test eight
[root@vmoracle11 tmp]# cat file2.txt 
test one
test three
test nine
[root@vmoracle11 tmp]# diff --changed-group-format='%<' --unchanged-group-format='' file1.txt file2.txt 
test two
test four
test eight

Wenn Sie den Diff-Ausgabestil bevorzugen git diff, können Sie ihn mit dem --no-indexFlag verwenden, um Dateien zu vergleichen, die sich nicht in einem Git-Repository befinden:

git diff --no-index a.txt b.txt

Unter Verwendung einiger Dateien mit jeweils etwa 200.000 Dateinamenzeichenfolgen habe ich timediesen Ansatz (mit dem integrierten Befehl) mit einigen der anderen Antworten hier verglichen :

git diff --no-index a.txt b.txt
# ~1.2s

comm -23 <(sort a.txt) <(sort b.txt)
# ~0.2s

diff a.txt b.txt
# ~2.6s

sdiff a.txt b.txt
# ~2.7s

vimdiff a.txt b.txt
# ~3.2s

commscheint bei weitem der schnellste zu sein, während git diff --no-indexer der schnellste Ansatz für die Ausgabe im Diff-Stil zu sein scheint.

Update 2018-03-25 Sie können das --no-indexFlag tatsächlich weglassen, es sei denn, Sie befinden sich in einem Git-Repository und möchten nicht verfolgte Dateien in diesem Repository vergleichen. Aus den Manpages :

In diesem Formular werden die beiden angegebenen Pfade im Dateisystem verglichen. Sie können die Option --no-index weglassen, wenn Sie den Befehl in einem von Git gesteuerten Arbeitsbaum ausführen und mindestens einer der Pfade außerhalb des Arbeitsbaums zeigt oder wenn Sie den Befehl außerhalb eines von Git gesteuerten Arbeitsbaums ausführen.

Sie können auch Folgendes verwenden: colordiff : Zeigt die Ausgabe von diff mit Farben an.

Über vimdiff : Sie können Dateien über SSH vergleichen, zum Beispiel:

vimdiff /var/log/secure scp://192.168.1.25/var/log/secure

Auszug aus: http://www.sysadmit.com/2016/05/linux-diferencias-entre-dos-archivos.html

Vergessen Sie auch nicht mcdiff - Interner Diff-Viewer von GNU Midnight Commander .

Beispielsweise:

mcdiff file1 file2

Genießen!

Verwendung comm -13 (erfordert sortierte Dateien) :

$ cat file1
one
two
three

$ cat file2
one
two
three
four

$ comm -13 <(sort file1) <(sort file2)
four

Hier ist meine Lösung dafür:

mkdir temp
mkdir results
cp /usr/share/dict/american-english ~/temp/american-english-dictionary
cp /usr/share/dict/british-english ~/temp/british-english-dictionary
cat ~/temp/american-english-dictionary | wc -l > ~/results/count-american-english-dictionary
cat ~/temp/british-english-dictionary | wc -l > ~/results/count-british-english-dictionary
grep -Fxf ~/temp/american-english-dictionary ~/temp/british-english-dictionary > ~/results/common-english
grep -Fxvf ~/results/common-english ~/temp/american-english-dictionary > ~/results/unique-american-english
grep -Fxvf ~/results/common-english ~/temp/british-english-dictionary > ~/results/unique-british-english

Verwenden Sie awk dafür. Testdateien:

$ cat a.txt
one
two
three
four
four
$ cat b.txt
three
two
one

Die awk:

$ awk '
NR==FNR {                    # process b.txt  or the first file
    seen[$0]                 # hash words to hash seen
    next                     # next word in b.txt
}                            # process a.txt  or all files after the first
!($0 in seen)' b.txt a.txt   # if word is not hashed to seen, output it

Duplikate werden ausgegeben:

four
four

Um Duplikate zu vermeiden, fügen Sie jedes neu getroffene Wort in a.txt zu seenHash hinzu:

$ awk '
NR==FNR {
    seen[$0]
    next
}
!($0 in seen) {              # if word is not hashed to seen
    seen[$0]                 # hash unseen a.txt words to seen to avoid duplicates 
    print                    # and output it
}' b.txt a.txt

Ausgabe:

four

Wenn die Wortlisten durch Kommas getrennt sind, wie:

$ cat a.txt
four,four,three,three,two,one
five,six
$ cat b.txt
one,two,three

Sie müssen ein paar zusätzliche Runden ( forLoops) fahren:

awk -F, '                    # comma-separated input
NR==FNR {
    for(i=1;i<=NF;i++)       # loop all comma-separated fields
        seen[$i]
    next
}
{
    for(i=1;i<=NF;i++)
        if(!($i in seen)) {
             seen[$i]        # this time we buffer output (below):
             buffer=buffer (buffer==""?"":",") $i
        }
    if(buffer!="") {         # output unempty buffers after each record in a.txt
        print buffer
        buffer=""
    }
}' b.txt a.txt

Diesmal ausgeben:

four
five,six