Prüfen Sie, ob alle Dateizeilen in einer anderen Datei vorkommen

Ich habe zwei Dateien: file1 mit ungefähr 10 000 Zeilen und file2 mit ein paar hundert Zeilen. Ich möchte überprüfen, ob alle Zeilen von Datei2 in Datei1 vorkommen. Das heißt: ∀ Zeile ℓ ℓ Datei2: ℓ ℓ Datei1

Sollte jemand nicht wissen, was diese Symbole bedeuten oder was "Prüfen, ob alle Zeilen von Datei2 in Datei1 vorkommen" bedeutet: Mehrere gleichwertige Zeilen in beiden Dateien haben keinen Einfluss darauf, ob die Prüfung ergibt, dass die Dateien die Anforderung erfüllen oder nicht.

Wie mache ich das?

comm -13 <(sort -u file_1) <(sort -u file_2)

Dieser Befehl gibt Zeilen aus, die für eindeutig sind file_2. Wenn also die Ausgabe leer ist, sind alle file_2Zeilen im file_1.

Vom Kommunikationsmann:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Wenn die Anzahl der Übereinstimmungen von Datei2 in (den eindeutigen Zeilen von) Datei1 mit der Anzahl der eindeutigen Zeilen in Datei2 übereinstimmt, sind alle vorhanden. sonst sind sie nicht.

Verwenden von GNU, awkwo es bestimmte length(array)Funktionen unterstützt (und eine andere awkImplementierung, die dies möglicherweise unterstützt) und nicht erforderlich, wenn Dateien sortiert werden.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Das liest file2 in ein Array, das seenmit dem Schlüssel als gesamte Zeile von file2 aufgerufen wird .

Lesen Sie dann file1 und löschen Sie diesen Schlüssel für jede Zeile, wenn sie mit den angezeigten Zeilen im Array übereinstimmt.

Wenn das Array am Ende leer war, sind alle Zeilen in Datei2 in Datei1 vorhanden und werden gedruckt Matched, andernfalls wird angezeigt Not Matched.

Für die Kompatibilität in allen awkImplementierungen.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Wenn Sie leere Zeilen / oder Zeilen mit Leerzeichen nur in Datei2 ignorieren möchten, müssen Sie NFdie Bedingung in hinzufügen, um das NR==FNR && NF {...Einlesen in das Array zu überspringen.

Mit commkönnen Sie Linien finden, die in beiden Dateien gemeinsam sind.

comm -12 file1 file2

Schauen Sie sich man commfür weitere Details

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

wird keine Ausgabe erzeugen , wenn file1enthält alle Linien in file2und Ausfahrt mit dem Status 0, drucken Sie es sonst so etwas wie

Files /proc/self/fd/11 and /proc/self/fd/12 differ

und mit Status beenden 1

Verwenden Sie ein Python-Programm:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Verwendung:

python3 contains-all.py file2 file1

Der Programm-Exit-Status zeigt an, ob alle Muster von Datei 2 übereinstimmen:

• 0 (Erfolg) bedeutet, dass alle Muster abgeglichen wurden.
• 1 (Fehler) bedeutet, dass einige Muster nicht übereinstimmen.

Zur Abfrage des Exit - Status in einer Schale (Skript) Sie entweder die verwenden können $?spezielle Variable oder andere Ausdrücke , den Befehlsbeendigungsstatus, zB Kurzschluss Betreiber evaluieren &&und ||und bedingte Ausdrücke wie ifoder while. Beispiel:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combinefrom moreutils zeigt Ihnen alle Zeilen an file2, die nicht file1mit:

combine file2 not file1

Dann können Sie die Anzahl der Zeilen zählen, indem Sie sie wc -lwie folgt weiterleiten :

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi