Greppen rückwärts

Nehmen wir an, ich habe eine sehr große Textdatei (ca. 10.000.000 Zeilen). Ich muss grepes vom Ende an und als Ergebnis in eine Datei speichern. Was ist der effizienteste Weg, um eine Aufgabe zu erledigen?

tac / grep Lösung

tac file | grep whatever

Oder etwas effektiver:

grep whatever < <(tac file)

Zeit mit einer 500MB Datei:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

sed / grep Lösung:

sed '1!G;h;$!d' | grep whatever

Zeit mit einer 500MB-Datei: Abgebrochen nach mehr als 10 Minuten.

awk / grep Lösung:

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Zeit mit einer 500MB Datei:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

perl / grep Lösung:

perl -e 'print reverse <>' file | grep whatever

Zeit mit einer 500MB Datei:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Diese Lösung könnte helfen:

tac file_name | grep -e expression

Dieser wird beendet, sobald er die erste Übereinstimmung findet:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Das Folgende gibt die 5 Zeilen vor und nach den ersten beiden Übereinstimmungen an:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Denken Sie daran, nicht -i(Groß- / Kleinschreibung wird nicht berücksichtigt) zu verwenden, es sei denn, Sie müssen dies tun, um das Grep zu verlangsamen.

Wenn Sie die genaue Zeichenfolge kennen, die Sie suchen, ziehen Sie in Betracht fgrep(feste Zeichenfolge )

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Wenn die Datei wirklich groß ist, nicht in den Speicher passen kann, werde ich Perlmit File :: ReadBackwards Modul aus CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Dann:

$ ./reverse-grep.pl pattern file