Wie kann man einen kontinuierlichen Stream "grep"?

Ist das in grepeinem kontinuierlichen Stream möglich?

Was ich meine, ist eine Art tail -f <file>Befehl, aber mit grepauf der Ausgabe, um nur die Zeilen zu behalten, die mich interessieren.

Ich habe es versucht, tail -f <file> | grep patternaber es scheint, dass grepes nur ausgeführt werden kann, wenn es tailfertig ist, das heißt nie.

Aktivieren Sie den grepZeilenpuffermodus, wenn Sie BSD grep verwenden (FreeBSD, Mac OS X usw.).

tail -f file | grep --line-buffered my_pattern

Sie müssen dies nicht für GNU grep tun (wird unter so ziemlich jedem Linux verwendet), da es standardmäßig geleert wird (YMMV für andere Unix-Likes wie SmartOS, AIX oder QNX).

Ich benutze das die tail -f <file> | grep <pattern>ganze Zeit.

Es wird warten, bis grep errötet, nicht bis es beendet ist (ich benutze Ubuntu).

Ich denke, dass Ihr Problem darin besteht, dass grep eine gewisse Ausgabepufferung verwendet. Versuchen

tail -f file | stdbuf -o0 grep my_pattern

Dadurch wird der Ausgabepuffermodus von grep auf ungepuffert gesetzt.

Wenn Sie Übereinstimmungen in der gesamten Datei finden möchten (nicht nur im Endbereich) und möchten, dass diese übereinstimmen und auf neue Übereinstimmungen warten, funktioniert dies einwandfrei:

tail -c +0 -f <file> | grep --line-buffered <pattern>

Das -c +0Flag gibt an, dass die Ausgabe 0bytes ( -c) am Anfang ( +) der Datei beginnen soll.

In den meisten Fällen können Sie tail -f /var/log/some.log |grep foound es wird gut funktionieren.

Wenn Sie mehrere Greps für eine laufende Protokolldatei verwenden müssen und feststellen, dass Sie keine Ausgabe erhalten, müssen Sie den --line-bufferedSchalter möglicherweise wie folgt in Ihre mittleren Greps stecken :

tail -f /var/log/some.log | grep --line-buffered foo | grep bar

Sie können diese Antwort als Verbesserung betrachten. Normalerweise verwende ich

tail -F <fileName> | grep --line-buffered  <pattern> -A 3 -B 5

-F ist besser, wenn die Datei gedreht wird (-f funktioniert nicht richtig, wenn die Datei gedreht wird)

-A und -B sind nützlich, um Linien unmittelbar vor und nach dem Auftreten des Musters abzurufen. Diese Blöcke werden zwischen gestrichelten Trennzeichen angezeigt

Aber für mich mache ich lieber Folgendes

tail -F <file> | less

Dies ist sehr nützlich, wenn Sie in gestreamten Protokollen suchen möchten. Ich meine, geh hin und her und schau tief

Ich habe nicht gesehen, dass jemand meine übliche Anlaufstelle dafür angeboten hat:

less +F <file>
ctrl + c
/<search term>
<enter>
shift + f

Ich bevorzuge dies, da Sie jederzeit ctrl + canhalten und durch die Datei navigieren und dann einfach drücken können shift + f, um zur Live-Streaming-Suche zurückzukehren.

sed wäre eine bessere Wahl ( Stream- Editor)

tail -n0 -f <file> | sed -n '/search string/p'

und wenn Sie möchten, dass der Befehl tail beendet wird, sobald Sie eine bestimmte Zeichenfolge gefunden haben:

tail --pid=$(($BASHPID+1)) -n0 -f <file> | sed -n '/search string/{p; q}'

Offensichtlich ein Bashismus: $ BASHPID ist die Prozess-ID des Befehls tail. Der Befehl sed steht nach dem Ende in der Pipe, sodass die sed-Prozess-ID $ BASHPID + 1 lautet.

Ja, das wird tatsächlich gut funktionieren. GrepDie meisten Unix-Befehle werden zeilenweise für Streams ausgeführt. Jede Linie, die aus dem Schwanz kommt, wird analysiert und weitergeleitet, wenn sie übereinstimmt.

Dieser eine Befehl funktioniert für mich (Suse):

mail-srv:/var/log # tail -f /var/log/mail.info |grep --line-buffered LOGIN  >> logins_to_mail

Sammeln von Anmeldungen beim Mail-Service

Sie werden sicherlich nicht erfolgreich sein

tail -f /var/log/foo.log |grep --line-buffered string2search

wenn Sie "colortail" als Alias ​​für tail verwenden, z. in bash

alias tail='colortail -n 30'

Sie können anhand des Typalias überprüfen, ob dies so etwas wie tail isan alias von ausgibt colortail -n 30. dann hast du deinen schuldigen :)

Lösung:

Entfernen Sie den Alias ​​mit

unalias tail

Stellen Sie sicher, dass Sie mit diesem Befehl die 'echte' Tail-Binärdatei verwenden

type tail

welches sollte etwas ausgeben wie:

tail is /usr/bin/tail

und dann können Sie Ihren Befehl ausführen

tail -f foo.log |grep --line-buffered something

Viel Glück.

Verwenden Sie awk (ein weiteres großartiges Bash-Dienstprogramm) anstelle von grep, wenn Sie die Option "Zeilenpuffer" nicht haben! Es wird kontinuierlich Ihre Daten vom Schwanz streamen.

So verwenden Sie grep

tail -f <file> | grep pattern

So würden Sie awk verwenden

tail -f <file> | awk '/pattern/{print $0}'