grep: Speicher erschöpft

Ich habe eine sehr einfache Suche durchgeführt:

grep -R Milledgeville ~/Documents

Und nach einiger Zeit trat dieser Fehler auf:

grep: memory exhausted

Wie kann ich das vermeiden?

Ich habe 10 GB RAM auf meinem System und es werden nur wenige Anwendungen ausgeführt. Ich bin wirklich überrascht, dass ein einfaches grep keinen Speicher mehr hat. ~/Documentsist etwa 100 GB groß und enthält alle Arten von Dateien.

grep -RI Möglicherweise besteht dieses Problem nicht, aber ich möchte auch in Binärdateien suchen.

Zwei mögliche Probleme:

• grep -R(mit Ausnahme des modifizierten GNU, grepdas unter OS / X 10.8 und höher zu finden ist) folgt Symlinks. Selbst wenn nur 100 GB Dateien enthalten sind ~/Documents, ist möglicherweise immer noch ein Symlink zu vorhanden, /und Sie werden das gesamte Dateisystem einschließlich der Dateien durchsuchen wie /dev/zero. Verwenden Sie grep -rmit neueren GNU grep, oder verwenden Sie die Standardsyntax:

  find ~/Documents -type f -exec grep Milledgeville /dev/null {} +
  

  (Beachten Sie jedoch, dass der Beendigungsstatus nicht die Tatsache widerspiegelt, dass das Muster übereinstimmt oder nicht).

• grepFindet die Linien, die dem Muster entsprechen. Dazu muss jeweils eine Zeile in den Speicher geladen werden. GNU hat grepim Gegensatz zu vielen anderen grepImplementierungen keine Begrenzung für die Größe der gelesenen Zeilen und unterstützt die Suche in Binärdateien. Wenn Sie also eine Datei mit einer sehr großen Zeile haben (dh mit zwei Zeilenumbrüchen, die sehr weit entfernt sind), die größer als der verfügbare Speicher ist, schlägt der Vorgang fehl.

  Das passiert normalerweise mit einer spärlichen Datei. Sie können es reproduzieren mit:

  truncate -s200G some-file
  grep foo some-file
  

  Das ist schwer zu umgehen. Du könntest es so machen (immer noch mit GNU grep):

  find ~/Documents -type f -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} +
  

  Das konvertiert Sequenzen von NUL-Zeichen in ein Newline-Zeichen, bevor die Eingabe an übergeben wird grep. Dies gilt für Fälle, in denen das Problem auf spärliche Dateien zurückzuführen ist.

  Sie können es optimieren, indem Sie es nur für große Dateien ausführen:

  find ~/Documents -type f \( -size -100M -exec \
    grep -He Milledgeville {} + -o -exec sh -c 'for i do
    tr -s "\0" "\n" < "$i" | grep --label="$i" -He "$0"
    done' Milledgeville {} + \)
  

  Wenn die Dateien nicht spärlich , und Sie haben eine Version von GNU grepvor 2.6, können Sie die Verwendung --mmapOption. Die Zeilen werden nicht kopiert, sondern im Speicher abgelegt. Das bedeutet, dass das System den Speicher jederzeit durch Auslagern der Seiten in die Datei freischalten kann. Diese Option wurde in GNU grep2.6 entfernt

Normalerweise mache ich

find ~/Documents | xargs grep -ne 'expression'

Ich habe eine Reihe von Methoden ausprobiert und fand, dass dies die schnellste ist. Beachten Sie, dass dies Dateien mit Leerzeichen, die den Dateinamen enthalten, nicht sehr gut behandelt. Wenn Sie wissen, dass dies der Fall ist und eine GNU-Version von grep haben, können Sie Folgendes verwenden:

find ~/Documents -print0 | xargs -0 grep -ne 'expression'

Wenn nicht, können Sie Folgendes verwenden:

 find ~/Documents -exec grep -ne 'expression' "{}" \;

Welches wird execein Grep für jede Datei.

Ich kann mir ein paar Möglichkeiten vorstellen, um das zu umgehen:

• Anstatt alle Dateien auf einmal zu prüfen, sollten Sie immer nur eine Datei gleichzeitig ausführen. Beispiel:

  find /Documents -type f -exec grep -H Milledgeville "{}" \;
  

• Wenn Sie nur wissen müssen, welche Dateien die Wörter enthalten, tun Sie dies grep -lstattdessen. Da grep dort nach dem ersten Treffer aufhört zu suchen, muss es keine riesigen Dateien mehr lesen

• Wenn Sie auch den eigentlichen Text haben möchten, können Sie zwei separate Greps aneinanderreihen:

  for file in $( grep -Rl Milledgeville /Documents ); do grep -H Milledgeville "$file"; done
  

Ich greife nach einer 6-TB-Festplatte, um nach verlorenen Daten zu suchen, und der Speicher ist erschöpft. Dies sollte auch für andere Dateien funktionieren.

Die Lösung, die wir gefunden haben, bestand darin, die Festplatte mit dd in Chunks zu lesen und die Chunks zu sperren. Dies ist der Code (big-grep.sh):

#problem: grep gives "memory exhausted" error on 6TB disks
#solution: read it on parts
if [ -z $2 ] || ! [ -e $1 ]; then echo "$0 file string|less -S # greps in chunks"; exit; fi

FILE="$1"
MATCH="$2"

SIZE=`ls -l $1|cut -d\  -f5`
CHUNKSIZE=$(( 1024 * 1024 * 1 )) 
CHUNKS=100 # greps in (100 + 1) x 1MB = 101MB chunks
COUNT=$(( $SIZE / $CHUNKSIZE * CHUNKS ))

for I in `seq 0 $COUNT`; do
  dd bs=$CHUNKSIZE skip=$(($I*$CHUNKS)) count=$(( $CHUNKS+1)) if=$FILE status=none|grep -UF -a --context 6 "$MATCH"
done