Wie entferne ich doppelte Zeilen in einer Textdatei?

Eine riesige (bis zu 2 GiB) Textdatei von mir enthält ungefähr 100 exakte Duplikate jeder Zeile (in meinem Fall nutzlos, da die Datei eine CSV-ähnliche Datentabelle ist).

Was ich brauche, ist, alle Wiederholungen zu entfernen, während (vorzugsweise, aber dies kann für einen signifikanten Leistungsschub geopfert werden) die ursprüngliche Sequenzreihenfolge beibehalten. Im Ergebnis soll jede Zeile eindeutig sein. Wenn es 100 gleiche Zeilen gäbe (normalerweise sind die Duplikate über die Datei verteilt und werden keine Nachbarn sein), wäre nur eine einzige davon übrig.

Ich habe ein Programm in Scala geschrieben (halte es für Java, wenn du nichts über Scala weißt), um dies zu implementieren. Aber vielleicht gibt es schnellere C-geschriebene native Tools, die dies schneller können?

UPDATE: Die awk '!seen[$0]++' filenameLösung schien für mich in Ordnung zu sein, solange die Dateien in der Nähe von 2 GiB oder kleiner waren, aber jetzt, da ich eine 8 GiB-Datei bereinigen möchte, funktioniert sie nicht mehr. Auf einem Mac mit 4 GiB RAM und einem 64-Bit-Windows 7-PC mit 4 GiB RAM und 6 GiB Swap scheint es unendlich zu werden. Und ich bin angesichts dieser Erfahrung nicht begeistert davon, es unter Linux mit 4 GiB RAM zu versuchen.

Eine awkLösung von #bash (Freenode):

awk '!seen[$0]++' filename

Es gibt eine einfache (was nicht selbstverständlich ist) Methode, bei der Standarddienstprogramme verwendet werden sort, für deren Ausführung nur ein großer Speicher erforderlich ist. In den meisten Implementierungen gibt es spezielle Optimierungen für große Dateien (ein guter externer Sortieralgorithmus). Ein Vorteil dieser Methode besteht darin, dass nur alle Zeilen in Spezialdienstprogrammen durchlaufen werden, nicht jedoch in interpretierten Sprachen.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

Wenn alle Zeilen mit einem Nicht-Leerzeichen beginnen, können Sie auf einige der Optionen verzichten:

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

Bei einer großen Anzahl von Duplikaten ist eine Methode, bei der nur eine einzige Kopie jeder Zeile im Speicher gespeichert werden muss, leistungsfähiger. Mit einigem Interpretationsaufwand gibt es dafür ein sehr kurzes awk-Skript (bereits von enzotib gepostet ):

<input awk '!seen[$0]++'

Weniger präzise: !seen[$0] {print} {seen[$0] += 1}ZB die aktuelle Zeile drucken, wenn sie noch nicht gesehen wurde, dann den seenZähler für diese Zeile inkrementieren (nicht initialisierte Variablen oder Array-Elemente haben den numerischen Wert 0).

Bei langen Zeilen können Sie Speicherplatz sparen, indem Sie für jede Zeile nur eine nicht fälschbare Prüfsumme (z. B. einen kryptografischen Auszug) aufbewahren. Bei Verwendung von SHA-1 benötigen Sie beispielsweise nur 20 Byte plus einen konstanten Overhead pro Zeile. Das Berechnen von Digests ist jedoch ziemlich langsam. Diese Methode gewinnt nur, wenn Sie eine schnelle CPU (insbesondere eine mit einem Hardwarebeschleuniger zum Berechnen der Digests) und im Verhältnis zur Dateigröße und den ausreichend langen Zeilen nicht viel Speicher haben. Mit keinem Basisdienstprogramm können Sie eine Prüfsumme für jede Zeile berechnen. Sie müssten den Interpretationsaufwand für Perl / Python / Ruby / ... tragen oder ein spezielles kompiliertes Programm schreiben.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

Beachten Sie, dass die Ausgabedatei sortiert wird.

Vorausgesetzt, Sie können es sich leisten, so viel wie die nicht duplizierte Datei im Arbeitsspeicher zu behalten (wenn Ihre Daten tatsächlich um den Faktor 100 dupliziert werden, das sollte ungefähr 20 MB + Overhead sein), können Sie dies mit Perl ganz einfach tun.

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

Dadurch bleibt auch die Reihenfolge erhalten.

Sie können die Anzahl der Vorkommen jeder Zeile aus dem %dupHash extrahieren, wenn Sie dies wünschen, als zusätzlichen Bonus.

Wenn Sie es vorziehen awk, sollte dies auch so sein (dieselbe Logik wie die Perl-Version, dieselbe Reihenfolge, dieselben Daten, die in der dupVariablen gesammelt wurden ):

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

Da an Ort und Stelle keine andere Antwort zur Verfügung gestellt wurde, ist hier eine:

gawk -i inplace '!a[$0]++' file

Sie können uniq http://www.computerhope.com/unix/uuniq.htm verwenden

uniq meldet oder filtert wiederholte Zeilen in einer Datei heraus.

Python One-Liner:

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

Keine der hier aufgeführten Antworten hat auf meinem Mac funktioniert, daher habe ich ein einfaches Python-Skript geschrieben, das für mich funktioniert. Ich ignoriere führende / nachfolgende Leerzeichen und kümmere mich auch nicht um den Speicherverbrauch.

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

Speichern Sie das oben auf unique.py und führen Sie es folgendermaßen aus:

python unique.py inputfile.txt outputfile.txt

Mit bash 4 kann eine Pure-bash-Lösung verwendet werden, die assoziative Arrays nutzt. Hier ist ein Beispiel

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt