Schneller Unix-Befehl zum Anzeigen bestimmter Zeilen in der Mitte einer Datei?

Der Versuch, ein Problem mit einem Server zu debuggen, und meine einzige Protokolldatei ist eine 20-GB-Protokolldatei (auch ohne Zeitstempel! Warum wird die System.out.println()Protokollierung verwendet? In der Produktion?!)

Mit grep habe ich einen Bereich der Datei gefunden, den ich mir ansehen möchte, Zeile 347340107.

Anders als so etwas zu tun

head -<$LINENUM + 10> filename | tail -20 

... was das headLesen der ersten 347 Millionen Zeilen der Protokolldatei erfordern würde. Gibt es einen schnellen und einfachen Befehl, mit dem die Zeilen 347340100 - 347340200 (zum Beispiel) an die Konsole ausgegeben werden?

Update Ich habe total vergessen, dass grep den Kontext um ein Match drucken kann ... das funktioniert gut. Vielen Dank!

mit GNU-grep könnte man einfach sagen

grep --context = 10 ...

Ich habe zwei andere Lösungen gefunden, wenn Sie die Zeilennummer kennen, aber sonst nichts (kein grep möglich):

Angenommen, Sie benötigen die Zeilen 20 bis 40,

sed -n '20,40p;41q' file_name

oder

awk 'FNR>=20 && FNR<=40' file_name

# print line number 52
sed -n '52p' # method 1
sed '52!d' # method 2
sed '52q;d' # method 3,  efficient on large files 

Methode 3 effizient bei großen Dateien

schnellster Weg, um bestimmte Linien anzuzeigen

Nein, gibt es nicht, Dateien sind nicht zeilenadressierbar.

Es gibt keine zeitkonstante Möglichkeit, den Zeilenanfang n in einer Textdatei zu finden . Sie müssen durch die Datei streamen und Zeilenumbrüche zählen.

Verwenden Sie das einfachste / schnellste Werkzeug, das Sie für die Arbeit benötigen. Für mich mit headmacht viel mehr Sinn als grep, da letztere ist viel komplizierter. Ich sage nicht " grepist langsam", das ist es wirklich nicht, aber ich wäre überrascht, wenn es schneller wäre als headin diesem Fall. Das wäre im headGrunde genommen ein Fehler .

Wie wäre es mit:

tail -n +347340107 filename | head -n 100

Ich habe es nicht getestet, aber ich denke, das würde funktionieren.

Ich gehe lieber einfach in lessund

• tippen, um 50%zur Hälfte der Datei zu gelangen,
• 43210G zur Linie 43210 gehen
• :43210 das Gleiche tun

und solche Sachen.

Noch besser: schlagen v Drücken Sie, um an dieser Stelle mit der Bearbeitung zu beginnen (natürlich in vim!). Beachten Sie nun, dass vimdie gleichen Tastenkombinationen vorhanden sind!

Ich würde die Datei zuerst in einige kleinere wie diese aufteilen

$ split --lines=50000 /path/to/large/file /path/to/output/file/prefix

und grep dann auf die resultierenden Dateien.

Sie können den exBefehl verwenden, einen Standard-Unix-Editor (jetzt Teil von Vim), z

• eine einzelne Zeile anzeigen (zB 2.):

  ex +2p -scq file.txt

  entsprechende sed-Syntax: sed -n '2p' file.txt

• Zeilenbereich (zB 2-5 Zeilen):

  ex +2,5p -scq file.txt

  sed Syntax: sed -n '2,5p' file.txt

• von der angegebenen Zeile bis zum Ende (zB 5. bis zum Ende der Datei):

  ex +5,p -scq file.txt

  sed Syntax: sed -n '2,$p' file.txt

• mehrere Zeilenbereiche (z. B. 2-4 und 6-8 Zeilen):

  ex +2,4p +6,8p -scq file.txt

  sed Syntax: sed -n '2,4p;6,8p' file.txt

Die oben genannten Befehle können mit der folgenden Testdatei getestet werden:

seq 1 20 > file.txt

Erläuterung:

• + oder -c gefolgt vom Befehl - Führen Sie den Befehl (vi / vim) aus, nachdem die Datei gelesen wurde.
• -s - Silent-Modus, verwendet auch das aktuelle Terminal als Standardausgabe,
• qgefolgt von -cdem Befehl zum Beenden des Editors (hinzufügen !, um das Beenden zu erzwingen, z -scq!. B. ).

Wenn Ihre Zeilennummer 100 zum Lesen ist

head -100 filename | tail -1

Bekommen ack

Ubuntu / Debian installieren:

$ sudo apt-get install ack-grep

Dann renne:

$ ack --lines=$START-$END filename

Beispiel:

$ ack --lines=10-20 filename

Von $ man ack:

--lines=NUM
    Only print line NUM of each file. Multiple lines can be given with multiple --lines options or as a comma separated list (--lines=3,5,7). --lines=4-7 also works. 
    The lines are always output in ascending order, no matter the order given on the command line.

sed muss auch die Daten lesen, um die Zeilen zu zählen. Die einzige Möglichkeit, eine Verknüpfung zu erstellen, besteht darin, dass die Datei einen Kontext / eine Reihenfolge enthält, mit der bzw. der gearbeitet werden soll. Wenn beispielsweise Protokollzeilen mit einer festen Breite für Uhrzeit / Datum usw. vorangestellt sind, können Sie das Dienstprogramm look unix verwenden, um die Dateien nach bestimmten Datums- / Uhrzeitangaben binär zu durchsuchen

Verwenden

x=`cat -n <file> | grep <match> | awk '{print $1}'`

Hier erhalten Sie die Zeilennummer, in der die Übereinstimmung stattgefunden hat.

Jetzt können Sie mit dem folgenden Befehl 100 Zeilen drucken

awk -v var="$x" 'NR>=var && NR<=var+100{print}' <file>

oder Sie können auch "sed" verwenden

sed -n "${x},${x+100}p" <file>

Wenn sed -e '1,N d; M q'Sie die Zeilen N + 1 bis M drucken, ist dies wahrscheinlich etwas besser, grep -Cda nicht versucht wird, die Linien einem Muster zuzuordnen.

Aufbauend auf der Antwort von Sklivvz ist hier eine nette Funktion, die man in eine .bash_aliasesDatei einfügen kann . Es ist effizient bei großen Dateien, wenn Inhalte von der Vorderseite der Datei gedruckt werden.

function middle()
{
    startidx=$1
    len=$2
    endidx=$(($startidx+$len))
    filename=$3

    awk "FNR>=${startidx} && FNR<=${endidx} { print NR\" \"\$0 }; FNR>${endidx} { print \"END HERE\"; exit }" $filename
}

Gehen Sie folgendermaßen vor, um eine Zeile von a <textfile>by its anzuzeigen <line#>:

perl -wne 'print if $. == <line#>' <textfile>

Wenn Sie eine leistungsfähigere Methode zum Anzeigen einer Reihe von Zeilen mit regulären Ausdrücken wünschen - ich werde nicht sagen, warum grep eine schlechte Idee dafür ist, sollte dies ziemlich offensichtlich sein -, zeigt Ihnen dieser einfache Ausdruck Ihre Reichweite in a Single Pass, was Sie wollen, wenn Sie mit ~ 20 GB Textdateien arbeiten:

perl -wne 'print if m/<regex1>/ .. m/<regex2>/' <filename>

(Tipp: Wenn Ihre Regex enthalten ist /, verwenden Sie m!<regex>!stattdessen etwas wie )

Dies würde <filename>beginnend mit der übereinstimmenden Zeile <regex1>bis (einschließlich) der übereinstimmenden Zeile ausgedruckt <regex2>.

Es braucht keinen Assistenten, um zu sehen, wie ein paar Änderungen es noch leistungsfähiger machen können.

Letzte Sache: Perl hat, da es eine ausgereifte Sprache ist, viele versteckte Verbesserungen, um Geschwindigkeit und Leistung zu fördern. In diesem Sinne ist dies die offensichtliche Wahl für einen solchen Vorgang, da er ursprünglich für die Verarbeitung großer Protokolldateien, Texte, Datenbanken usw. entwickelt wurde.

Sie könnten diesen Befehl versuchen:

egrep -n "*" <filename> | egrep "<line number>"

Einfach mit Perl! Wenn Sie die Zeilen 1, 3 und 5 aus einer Datei abrufen möchten, sagen Sie / etc / passwd:

perl -e 'while(<>){if(++$l~~[1,3,5]){print}}' < /etc/passwd

Ich bin überrascht, dass nur eine andere Antwort (von Ramana Reddy) vorgeschlagen hat, der Ausgabe Zeilennummern hinzuzufügen. Im Folgenden wird nach der erforderlichen Zeilennummer gesucht und die Ausgabe gefärbt.

file=FILE
lineno=LINENO
wb="107"; bf="30;1"; rb="101"; yb="103"
cat -n ${file} | { GREP_COLORS="se=${wb};${bf}:cx=${wb};${bf}:ms=${rb};${bf}:sl=${yb};${bf}" grep --color -C 10 "^[[:space:]]\\+${lineno}[[:space:]]"; }