Was lässt grep eine Datei als binär betrachten?

Ich habe einige Datenbank-Dumps von einem Windows-System auf meiner Box. Sie sind Textdateien. Ich benutze Cygwin, um sie zu durchsuchen. Dies scheinen reine Textdateien zu sein. Ich öffne sie mit Texteditoren wie Notepad und Wordpad und sie sehen gut lesbar aus. Wenn ich grep auf sie starte, wird es jedoch sagen binary file foo.txt matches.

Ich habe festgestellt, dass die Dateien einige ASCII- NULZeichen enthalten, die meines Erachtens Artefakte aus dem Datenbank-Dump sind.

Warum betrachtet grep diese Dateien als binär? Der NULCharakter? Gibt es eine Flagge im Dateisystem? Was muss ich ändern, damit grep mir die Zeilenübereinstimmungen anzeigt?

Wenn NULsich irgendwo in der Datei ein Zeichen befindet, betrachtet grep es als Binärdatei.

Möglicherweise gibt es eine solche Problemumgehung cat file | tr -d '\000' | yourgrep, um zuerst alle Nullen zu entfernen und dann die Datei zu durchsuchen.

grep -a arbeitete für mich:

$ grep --help
[...]
 -a, --text                equivalent to --binary-files=text

Sie können die Verwendung stringsDienstprogramm , um den Textinhalt aus einer beliebigen Datei zu extrahieren und dann lenke sie durch grep, wie folgt aus : strings file | grep pattern.

GNU grep 2.24 RTFS

Schlussfolgerung: Nur 2 und 2 Fälle:

• NUL, z.B printf 'a\0' | grep 'a'

• Codierungsfehler nach C99 mbrlen(), zB:

  export LC_CTYPE='en_US.UTF-8'
  printf 'a\x80' | grep 'a'
  

  da \x80kann nicht das erste Byte eines UTF-8-Unicode-Punkts sein: UTF-8 - Beschreibung | en.wikipedia.org

Darüber hinaus, wie von Stéphane Chazelas erwähnt. Warum betrachtet grep eine Datei als binär? | Unter Unix und Linux Stack Exchange werden diese Überprüfungen nur bis zum ersten Puffer mit der Länge TODO durchgeführt.

Nur bis zum ersten Puffer gelesen

Wenn also ein NUL- oder Codierungsfehler in der Mitte einer sehr großen Datei auftritt, wird diese möglicherweise trotzdem abgegriffen.

Ich stelle mir das aus Performancegründen vor.

ZB: Dies druckt die Zeile:

printf '%10000000s\n\x80a' | grep 'a'

aber das tut nicht:

printf '%10s\n\x80a' | grep 'a'

Die tatsächliche Puffergröße hängt davon ab, wie die Datei gelesen wird. ZB vergleichen:

export LC_CTYPE='en_US.UTF-8'
(printf '\n\x80a') | grep 'a'
(printf '\n'; sleep 1; printf '\x80a') | grep 'a'

Mit dem sleepwird die erste Zeile an grep übergeben, auch wenn sie nur 1 Byte lang ist, da der Prozess in den Ruhezustand wechselt und der zweite Lesevorgang nicht prüft, ob die Datei binär ist.

RTFS

git clone git://git.savannah.gnu.org/grep.git 
cd grep
git checkout v2.24

Finden Sie heraus, wo die stderr-Fehlermeldung codiert ist:

git grep 'Binary file'

Führt uns zu /src/grep.c:

if (!out_quiet && (encoding_error_output
                    || (0 <= nlines_first_null && nlines_first_null < nlines)))
    {
    printf (_("Binary file %s matches\n"), filename);

Wenn diese Variablen gut benannt wären, wären wir im Grunde genommen zu dem Schluss gekommen.

encoding_error_output

Das schnelle Greifen nach encoding_error_outputzeigt, dass der einzige Codepfad , der ihn ändern kann, durchläuft buf_has_encoding_errors:

clen = mbrlen (p, buf + size - p, &mbs);
if ((size_t) -2 <= clen)
  return true;

dann eben man mbrlen.

nlines_first_null und nlines

Initialisiert als:

intmax_t nlines_first_null = -1;
nlines = 0;

Wenn also eine Null gefunden 0 <= nlines_first_nullwird , wird sie wahr.

TODO wann kann nlines_first_null < nlinesjemals falsch sein? Ich bin faul geworden.

POSIX

Definiert keine binären Optionen grep - Durchsucht eine Datei nach einem Muster | pubs.opengroup.org und GNU grep dokumentieren dies nicht, daher ist RTFS der einzige Weg.

Eine meiner Textdateien wurde plötzlich von grep als binär angesehen:

$ file foo.txt
foo.txt: ISO-8859 text

Lösung war, es zu konvertieren, indem man verwendet iconv:

iconv -t UTF-8 -f ISO-8859-1 foo.txt > foo_new.txt

Die Datei /etc/magicoder /usr/share/misc/magichat eine Liste von Sequenzen, die der Befehl filezur Bestimmung des Dateityps verwendet.

Beachten Sie, dass die Binärdatei möglicherweise nur eine Ersatzlösung ist. Manchmal werden auch Dateien mit ungewöhnlicher Codierung als binär betrachtet.

grepUnter Linux gibt es einige Optionen, um Binärdateien wie --binary-filesoder zu verarbeiten-U / --binary

Einer meiner Schüler hatte dieses Problem. Es ist ein Fehler grepin Cygwin. Wenn die Datei nicht-ASCII - Zeichen hat, grepund egrepes als binäres sehen.

Wenn Sie die Frage "Warum betrachtet grep eine Datei als binär?" Beantworten, können Sie Folgendes verwenden iconv:

$ iconv < myfile.java
iconv: (stdin):267:70: cannot convert

In meinem Fall gab es spanische Zeichen, die in Texteditoren korrekt angezeigt wurden, aber von grep als binär betrachtet wurden. iconvDie Ausgabe wies mich auf die Zeilen- und Spaltennummern dieser Zeichen hin

Im Fall von NULZeichen iconvwerden diese als normal betrachtet und nicht gedruckt, sodass diese Methode nicht geeignet ist

Ich hatte das gleiche problem Früher vi -b [filename]habe ich die hinzugefügten Zeichen gesehen. Ich habe die Steuerzeichen ^@und gefunden ^M. Geben Sie dann in vi ein :1,$s/^@//g, um die ^@Zeichen zu entfernen . Wiederholen Sie diesen Befehl für ^M.

Warnung: Um die "blauen" Steuerzeichen zu erhalten, drücken Sie Ctrl+ und vdann Ctrl+ Moder Ctrl+ @. Dann speichern und beenden Sie vi.