Überprüfen Sie, ob alle Zeilen einer Datei eindeutig sind

Ich habe eine Textdatei mit Zeilen wie diesen:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Wie kann ich mir der Einzigartigkeit jeder Zeile sicher sein?

HINWEIS: Ziel ist es, die Datei zu testen und nicht zu ändern, wenn doppelte Zeilen vorhanden sind.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awk Lösung:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Verwenden von sort/ uniq:

sort input.txt | uniq

Um nur nach doppelten Zeilen -dzu suchen, verwenden Sie die Option für uniq. Dies zeigt nur doppelte Zeilen an, wenn keine vorhanden sind, wird nichts angezeigt:

sort input.txt | uniq -d

TLDR

Die ursprüngliche Frage war unklar und lautete, dass das OP lediglich eine eindeutige Version des Inhalts einer Datei wünschte. Das ist unten gezeigt. In der seitdem aktualisierten Form der Frage gibt das OP nun an, dass es lediglich wissen möchte, ob der Inhalt der Datei eindeutig ist oder nicht.

Testen Sie, ob der Inhalt der Datei eindeutig ist oder nicht

Sie können einfach verwenden sort, um zu überprüfen, ob eine Datei eindeutig ist oder Duplikate wie folgt enthält:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Beispiel

Angenommen, ich habe diese beiden Dateien:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Wenn wir nun diese Dateien analysieren, können wir feststellen, ob sie eindeutig sind oder Duplikate enthalten:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Originalfrage (eindeutiger Inhalt der Datei)

Kann mit nur gemacht werden sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Normalerweise zähle ich sortdie Datei und uniqzähle dann die Anzahl der Duplikate. Dann sehe ich sortnoch einmal die Duplikate am Ende der Liste.

Ich habe den von Ihnen angegebenen Beispielen ein Duplikat hinzugefügt:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Da ich die Manpage uniqschon eine Weile nicht mehr gelesen habe , habe ich schnell nach Alternativen gesucht. Im Folgenden ist die zweite Sortierung nicht mehr erforderlich, wenn Sie nur Duplikate anzeigen möchten:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Wenn keine Duplikate vorhanden sind, sind alle Zeilen eindeutig:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Beschreibung: Sortieren Sie die Dateizeilen, um wiederholte Zeilen fortlaufend zu machen (sortieren).
Extrahieren Sie alle aufeinander folgenden Zeilen, die gleich sind (uniq -d).
Wenn der Befehl über ( [...]) ausgegeben wird , &&drucken Sie ( ) eine Nachricht.

Dies wäre ohne eine Perl-Antwort nicht vollständig!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Dadurch wird jede nicht eindeutige Zeile einmal gedruckt. Wenn also nichts gedruckt wird, enthält die Datei alle eindeutigen Zeilen.

Verwenden cmpund sortin bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

oder

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Dies würde die Datei jedoch zweimal sortieren, genau wie die akzeptierte Antwort.