Ist es in Bash möglich, das Lesen einer Datei von einem beliebigen Byte-Zähler-Offset aus zu starten?

Ich möchte ein Datum ausfindig machen, das sich irgendwo in einem 8-GB-Protokoll befindet (Text).

Kann ich einen vollständigen sequentiellen Lesevorgang etwas umgehen und zuerst binäre Teilungen der Datei (Größe) oder irgendwie im Dateisystem navigieren inodes(über das ich nur sehr wenig weiß ), um an jedem Teilungspunkt mit dem Lesen zu beginnen, bis ich einen geeigneten Versatz von gefunden habe? Wo soll ich mit der Textsuche nach einer Zeile beginnen, die das Datum enthält?

tailBeim Lesen der letzten Zeile wird kein normales sequentielles Lesen verwendet. Daher frage ich mich, ob diese Funktion in Bash verfügbar ist oder ob ich Python oder C / C ++ verwenden muss. Ich bin jedoch speziell an einer bashOption interessiert ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

Das Programm .. erstellt keine temporären Split-Dateien, überspringt Blöcke mit 512 MB Daten bei jedem Durchlauf, liest 64 Byte von dieser Position und begrenzt die Ausgabe auf die erste Zeile dieser 64 Byte.

Vielleicht möchten Sie 64 auf das einstellen, was Sie für nötig halten.

Es klingt wie Sie wollen:

tail -c +1048576

oder wie viele Bytes Sie überspringen möchten. Das Pluszeichen weist den Tail an, vom Anfang der Datei anstatt vom Ende zu messen. Wenn Sie die GNU-Version von tail verwenden, können Sie dies wie folgt schreiben:

tail -c +1M

Um eine feste Anzahl von Bytes nach dem Ausschneiden zu erhalten, leiten Sie diese anstelle des gesamten Restes der Datei einfach durch den Kopf:

tail -c +1048576 | head -c 1024

Ich würde so etwas versuchen, um das Protokoll zur schnelleren Analyse in 512-MB-Blöcke aufzuteilen.

split <filename> -b 536870912

Wenn Sie nach der Datei suchen, funktioniert Folgendes:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Verwenden Sie diese Ausgabe, um zu bestimmen, welche Datei für Ihr Datum verwendet werden soll.

Hier ist mein Skript, ich suche die erste Zeile, in der das erste Feld meiner Nummer entspricht. Die Zeilen sind nach dem ersten Feld sortiert. Ich benutze dd, um die erste Zeile von 128K-Blöcken zu überprüfen, dann springe ich zum Block und führe eine Suche durch. Es verbessert die Effizienz, wenn die Datei mehr als 1 MB groß ist.

Jeder Kommentar oder jede Korrektur ist willkommen!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* EDIT * ** grep ist viel schneller und ack noch besser