Sortieren Sie den Inhalt einer extrem großen (800 GB) Textdatei unter Windows

Ich habe eine Textdatei mit einem Wort in jeder Zeile, die Größe der Datei beträgt 800 GB. Ich muss die Wörter alphabetisch sortieren.

Ich habe versucht, das Windows- Sortierprogramm zu verwenden mit:

sort.exe input.txt /o output.txt

Das gibt den Fehler: Nicht genügend Hauptspeicher, um die Sortierung abzuschließen.

Ich habe also 32 GB RAM , wenn ich versuche, 10 GB Arbeitsspeicher für die Sortierung anzugeben:

sort.exe input.txt /o output.txt /M 10000000

Ich bekomme:

Warnung: Die angegebene Speichergröße wird auf den verfügbaren Paging-Speicher reduziert.

Eingabedatensatz überschreitet maximale Länge. Geben Sie ein größeres Maximum an.

Welche Möglichkeiten habe ich?

Welche Möglichkeiten habe ich?

Probieren Sie das Freeware Command Line Sort Utility CMSort aus .

Es werden mehrere temporäre Dateien verwendet und am Ende zusammengeführt.

CMsort liest Datensätze einer Eingabedatei, bis der eingestellte Speicher erreicht ist. Dann werden die Datensätze sortiert und in eine temporäre Datei geschrieben. Dies wird wiederholt, bis alle Datensätze verarbeitet wurden. Schließlich werden alle temporären Dateien in die Ausgabedatei zusammengeführt. Wenn der verfügbare Speicher ausreicht, werden keine temporären Dateien geschrieben und es ist keine Zusammenführung erforderlich.

Ein Benutzer gibt an, eine Datei mit 130.000.000 Bytes sortiert zu haben.

Wenn Sie selbst Code optimieren möchten, gibt es auch die Option " Riesige Textdateien sortieren " - CodeProject - "Algorithmus zum Sortieren von Zeilen in Textdateien, deren Größe den verfügbaren Speicher überschreitet".

Eine andere Möglichkeit besteht darin, die Datei in eine Datenbank zu laden. EG MySQL und MySQL Workbench.
Datenbanken sind perfekte Kandidaten für die Arbeit mit großen Dateien

Wenn Ihre Eingabedatei nur Wörter enthält, die durch eine neue Zeile getrennt sind, sollte dies nicht zu schwierig sein.

Nachdem Sie die Datenbank und MySQL Workbench installiert haben, müssen Sie dies tun.
Erstellen Sie zuerst das Schema (dies setzt voraus, dass Wörter nicht länger als 255 Zeichen sind, obwohl Sie dies durch Erhöhen des Argumentwerts ändern können). Die erste Spalte "idwords" ist ein Primärschlüssel.

CREATE SCHEMA `tmp` ;

CREATE TABLE `tmp`.`words` (
  `idwords` INT NOT NULL AUTO_INCREMENT,
  `mywords` VARCHAR(255) NULL,
  PRIMARY KEY (`idwords`));

Zweitens importieren Sie die Daten: ZB Dies importiert alle Wörter in die Tabelle (dieser Schritt kann eine Weile dauern. Mein Rat wäre, zuerst einen Test mit einer kleinen Wortdatei durchzuführen, und wenn Sie sicher sind, dass das Format das gleiche ist wie der größere (kürzen Sie die Tabelle. IE Clear it out und laden Sie den vollständigen Datensatz).

LOAD DATA LOCAL INFILE "C:\\words.txt" INTO TABLE tmp.words
LINES TERMINATED BY '\r\n'
(mywords);

Dieser Link kann dabei helfen, das richtige Format für das Laden zu finden. https://dev.mysql.com/doc/refman/5.7/de/load-data.html
EG Wenn Sie die erste Zeile überspringen müssen, gehen Sie folgendermaßen vor.

LOAD DATA LOCAL INFILE "H:\\words.txt" INTO TABLE tmp.words
-- FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES
(mywords);

Speichern Sie schließlich die sortierte Datei. Dies kann auch abhängig von Ihrem PC eine Weile dauern.

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
INTO OUTFILE 'C:\\sorted_words.csv';

Sie können die Daten auch nach Belieben durchsuchen. EG Dies gibt Ihnen die ersten 50 Wörter in aufsteigender Reihenfolge (ab dem 0. oder ersten Wort).

SELECT tmp.words.mywords
FROM tmp.words
order by tmp.words.mywords asc
LIMIT 0, 50 ;

Viel Glück,
Pete

sort

Es gibt viele Algorithmen zum Sortieren geordneter und nicht geordneter Dateien ^{[ 1 ]} .
Da all diese Algorithmen bereits implementiert sind, wählen Sie ein bereits getestetes Programm aus.

In coreutils (von Linux, aber auch für Windows verfügbar ^{[ 2 ]} ) gibt es den sortBefehl, der unter Multi-Core-Prozessoren parallel ausgeführt werden kann: Normalerweise reicht er aus.

Wenn Ihre Datei so umfangreich ist , können Sie die Aufteilung ( split -l) der Datei in einige Abschnitte unterstützen, möglicherweise mithilfe der parallelen Option ( --parallel), und die resultierenden geordneten Abschnitte mit der -mOption sortieren ( Zusammenführungssortierung ).
Eine der vielen Möglichkeiten, dies zu tun, wird hier erläutert (Datei teilen, einzelne Chunks bestellen, geordnete Chunks zusammenführen, temporäre Dateien löschen).

Anmerkungen:

• In Windows 10 gibt es das sogenannte Windows-Subsystem für Linux, in dem alle Linux-Beispiele natürlicher erscheinen.
• Das Sortieren mit unterschiedlichen Algorithmen hat unterschiedliche Ausführungszeiten, die sich in Abhängigkeit von der Anzahl der zu sortierenden Dateneinträge (O (n ^m ), O ( n logn) ...) skalieren lassen.
• Die Effizienz des Algorithmus hängt von der Reihenfolge ab, die bereits in der Originaldatei vorhanden ist.
  (Beispielsweise ist eine Blasensortierung der schnellste Algorithmus für eine bereits bestellte Datei - genau N -, in anderen Fällen ist sie jedoch nicht effizient).

Um eine alternative Lösung für Peter H anzubieten, gibt es ein Programm q, das SQL-Befehle für Textdateien erlaubt. Der folgende Befehl würde dasselbe tun (von der Eingabeaufforderung in demselben Verzeichnis wie die Datei ausführen), ohne dass SQL Workbench installiert oder Tabellen erstellt werden müssen.

q "select * from words.txt order by c1"

c1 ist die Abkürzung für Spalte 1.

Sie können doppelte Wörter mit ausschließen

q "select distinct c1 from words.txt order by c1"

und senden Sie die Ausgabe an eine andere Datei

q "select distinct c1 from words.txt order by c1" > sorted.txt

Wenn die Wörter in jeder Zeile aus einem begrenzten Wortschatz stammen (z. B. Englisch), können Sie die Liste mithilfe einer TreeMap und der Anzahl der Aufzeichnungen (wobei m die Anzahl der eindeutigen Werte ist) nach O (n + m log m) sortieren.

Andernfalls können Sie den Big-Sorter der Java-Bibliothek verwenden . Die Eingabe wird in sortierte Zwischendateien aufgeteilt und effizient zusammengeführt (gesamtes O (nlogn)). So sortieren Sie Ihre Datei:

Sorter.serializerTextUtf8()
      .input(inputFile)
      .output(outputFile)
      .loggerStdOut() // display some progress
      .sort();

Ich habe eine 1,7 GB-Datei (100 m Zeilen) mit zufällig generierten 16-Zeichen-Wörtern erstellt und wie oben in 142 Sekunden sortiert. Basierend auf der Berechnungskomplexität von O (n log n) der von mir verwendeten Methode schätze ich, dass 800 GB 16-Zeichen-Wörter enthalten würden Es dauert ungefähr 24 Stunden, um auf meinem i5 2.3GHz Laptop mit SSD Single-Thread zu sortieren.