Wie läuft grep so schnell?

Ich bin wirklich erstaunt über die Funktionalität von GREP in der Shell. Früher habe ich die Teilstring-Methode in Java verwendet, aber jetzt verwende ich GREP dafür und es wird in Sekundenschnelle ausgeführt. Es ist unglaublich schneller als der Java-Code, den ich früher geschrieben habe. (Nach meiner Erfahrung könnte ich mich jedoch irren)

Davon abgesehen konnte ich nicht herausfinden, wie es passiert? Es ist auch nicht viel im Web verfügbar.

Kann mir jemand dabei helfen?

Angenommen, Ihre Frage bezieht sich GNU grepspeziell. Hier ist eine Notiz des Autors Mike Haertel:

GNU grep ist schnell, weil es vermeidet, jedes Eingangsbyte zu betrachten.

GNU grep ist schnell , weil es sehr wenige Befehle für jedes Byte ausführt , die es tut Blick auf.

GNU grep verwendet den bekannten Boyer-Moore-Algorithmus, der zuerst nach dem letzten Buchstaben der Zielzeichenfolge sucht und anhand einer Nachschlagetabelle angibt, wie weit die Eingabe übersprungen werden kann, wenn ein nicht übereinstimmendes Zeichen gefunden wird.

GNU grep rollt auch die innere Schleife von Boyer-Moore ab und richtet die Delta-Tabelleneinträge von Boyer-Moore so ein, dass der Schleifen-Exit-Test nicht bei jedem entrollten Schritt durchgeführt werden muss. Dies hat zur Folge, dass GNU grep im Grenzfall im Durchschnitt weniger als 3 x 86-Befehle ausführt, die für jedes tatsächlich betrachtete Eingangsbyte ausgeführt werden (und viele Bytes vollständig überspringt).

GNU grep verwendet rohe Unix-Eingabesystemaufrufe und vermeidet das Kopieren von Daten nach dem Lesen. Darüber hinaus vermeidet GNU grep, den Eingang in Zeilen zu unterbrechen. Das Suchen nach Zeilenumbrüchen würde das Grep um ein Vielfaches verlangsamen, denn um die Zeilenumbrüche zu finden, müsste jedes Byte überprüft werden!

Anstatt zeilenorientierte Eingaben zu verwenden, liest GNU grep Rohdaten in einen großen Puffer, durchsucht den Puffer mit Boyer-Moore und sucht erst dann nach den Begrenzungszeilen, wenn eine Übereinstimmung gefunden wird (bestimmte Befehlszeilenoptionen wie - n Deaktivieren Sie diese Optimierung.)

Diese Antwort ist eine Teilmenge der hier entnommenen Informationen .

Zu Steves hervorragender Antwort hinzufügen.

Es ist vielleicht nicht allgemein bekannt, aber grep ist fast immer schneller, wenn nach einer längeren Pattern-Zeichenfolge gesucht wird als nach einer kurzen, da Boyer-Moore in einem längeren Pattern in längeren Schritten vorwärts springen kann, um noch bessere sublineare Geschwindigkeiten zu erzielen :

Beispiel:

# after running these twice to ensure apples-to-apples comparison
# (everything is in the buffer cache) 

$ time grep -c 'tg=f_c' 20140910.log
28
0.168u 0.068s 0:00.26

$ time grep -c ' /cc/merchant.json tg=f_c' 20140910.log
28
0.100u 0.056s 0:00.17

Die längere Form ist 35% schneller!

Woher? Boyer-Moore erstellt aus der Musterzeichenfolge eine Sprung-Vorwärts-Tabelle. Wenn eine Nichtübereinstimmung vorliegt, wird der längste mögliche Sprung (vom letzten zum ersten Zeichen) ausgewählt, bevor ein einzelnes Zeichen in der Eingabe mit dem Zeichen in der Sprung-Tabelle verglichen wird.

Hier ist ein Video, das Boyer Moore erklärt (Dank an kommradHomer)

Ein weiteres häufiges Missverständnis (für GNU grep) ist, dass fgrepes schneller ist als grep. fin fgrepsteht nicht für 'schnell', sondern für 'fest' (siehe Manpage), und da beide dasselbe Programm sind und beide Boyer-Moore verwenden , gibt es keinen Unterschied in der Geschwindigkeit zwischen ihnen bei der Suche nach fest- Zeichenfolgen ohne reguläre Zeichen. Der einzige Grund , warum ich Gebrauch fgrepist , wenn es gibt ein regexp spezielles Zeichen (wie ., [], oder *) Ich will sich nicht als solche interpretiert werden. Und selbst dann wird die tragbarere / Standardform von grep -Fbevorzugt fgrep.