Verwenden von "Kopf" oder "Schwanz" in einer riesigen Textdatei - 19 GB

Ich habe ein Problem beim Anzeigen von Teilen einer sehr großen Textdatei. Diese Datei, ungefähr 19 GB, ist offensichtlich zu groß, um mit herkömmlichen Mitteln angezeigt zu werden.

Ich habe versucht head 1und tail 1( head -n 1und tail -n 1) mit beiden Befehlen auf verschiedene Art und Weise (um zu einem Stück in der Mitte zu kommen) ohne Glück zusammengeschickt. Mein Linux-Rechner mit Ubuntu 9.10 kann diese Datei nicht verarbeiten.

Wie gehe ich mit dieser Datei um? Mein ultimatives Ziel ist es, die Linien 45000000 und 45000100 zu verbessern.

Sie sollten verwenden sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Dies weist sedan, die Zeilen 45000000-45000100 einschließlich zu drucken und in Zeile 45000101 zu beenden.

Erstellen Sie eine MySQL-Datenbank mit einer einzelnen Tabelle, die ein einzelnes Feld enthält. Importieren Sie dann Ihre Datei in die Datenbank. Dies macht es sehr einfach, eine bestimmte Zeile nachzuschlagen.

Ich glaube nicht, dass etwas anderes schneller sein könnte (wenn headund tailschon scheitern). Am Ende muss die Anwendung, die eine Zeile finden möchte, ndie gesamte Datei ndurchsuchen, bis neue Zeilen gefunden wurden. Ohne eine Suche (Zeilenindex zu Byte-Versatz in der Datei) kann keine bessere Leistung erzielt werden.

Angesichts der Tatsache, wie einfach es ist, eine MySQL-Datenbank zu erstellen und Daten in diese zu importieren, halte ich dies für einen praktikablen Ansatz.

So geht's:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file wäre die Datei, die Sie lesen möchten.

Die korrekte Syntax zum Importieren einer Datei mit durch Tabulatoren getrennten Werten in jeder Zeile lautet:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Ein weiterer großer Vorteil ist, dass Sie, wenn Sie später weitere Zeilen extrahieren möchten, nicht noch einmal stundenlang auf die Verarbeitung warten müssen (es sei denn, Sie löschen natürlich die Datenbank).

Zwei gute alte Tools für große Dateien sind joinund split. Sie können die --lines=<number>Option " Teilen mit " verwenden, um Dateien in mehrere Dateien einer bestimmten Größe zu schneiden.

Zum Beispiel split --lines=45000000 huge_file.txt. Die resultierenden Teile wären in xa, xb usw. Dann können Sie headden Teil xb , der die gewünschten Zeilen enthalten würde. Sie können Dateien auch wieder zu einer großen Datei zusammenfügen.

Sie haben die richtigen Werkzeuge, verwenden sie aber falsch. Wie bereits bei U & L beantwortet , ist tail -n +X file | head -n Y(beachte das +) 10-15% schneller als sedbei Y-Linien, die bei X beginnen. Und bequemerweise müssen Sie exitden Vorgang nicht explizit wie bei ausführen sed.

tail liest und verwirft die ersten X-1-Zeilen (daran führt kein Weg vorbei), liest und druckt dann die folgenden Zeilen. head liest und druckt die angeforderte Anzahl von Zeilen und beendet dann. Beim Verlassen des Heads empfängt der Tail ein SIGPIPE-Signal und stirbt, sodass er nicht mehr als eine Puffergröße (normalerweise ein paar Kilobyte) Zeilen aus der Eingabedatei gelesen hat.