Elegante Möglichkeit, mit Stückliste nach UTF-8-Dateien zu suchen?

Zum Debuggen muss ich rekursiv ein Verzeichnis nach allen Dateien durchsuchen, die mit einer UTF-8-Byte-Ordnungsmarke (BOM) beginnen. Meine aktuelle Lösung ist ein einfaches Shell-Skript:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

Oder wenn Sie kurze, unlesbare Einzeiler bevorzugen:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

Es funktioniert nicht mit Dateinamen, die einen Zeilenumbruch enthalten, aber solche Dateien sind sowieso nicht zu erwarten.

Gibt es eine kürzere oder elegantere Lösung?

Gibt es interessante Texteditoren oder Makros für Texteditoren?

Was ist mit diesem einen einfachen Befehl, der die unangenehme Stückliste nicht nur findet, sondern löscht? :) :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

Ich liebe "finden" :)

Warnung Mit den obigen Anweisungen werden Binärdateien geändert, die diese drei Zeichen enthalten.

Wenn Sie nur Stücklistendateien anzeigen möchten, verwenden Sie diese:

grep -rl $'\xEF\xBB\xBF' .

Der beste und einfachste Weg, dies unter Windows zu tun:

Total Commander → gehe zum Stammverzeichnis des Projekts → finde Dateien ( Alt+F7 ) → Dateitypen *. * → Suchen Sie nach Text "EF BB BF" → Aktivieren Sie das Kontrollkästchen 'Hex' → Suchen

Und du bekommst die Liste :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

Die meisten der oben angegebenen Lösungen testen mehr als die erste Zeile der Datei, auch wenn einige (wie die Lösung von Marcus) die Ergebnisse filtern. Diese Lösung testet nur die erste Zeile jeder Datei, daher sollte sie etwas schneller sein.

Wenn Sie einige Fehlalarme akzeptieren (falls es keine Textdateien gibt oder im unwahrscheinlichen Fall ein ZWNBSP in der Mitte einer Datei), können Sie grep verwenden:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

Ich würde so etwas verwenden wie:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

Dadurch wird sichergestellt, dass die Stückliste ab dem ersten Byte der Datei erstellt wird.

Sie können sie verwenden grep, um sie zu finden, und Perl, um sie wie folgt zu entfernen:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

Informationen für einen Windows-Benutzer finden Sie hier (gutes PHP-Skript zum Auffinden des BOMin Ihrem Projekt).

Eine Overkill-Lösung hierfür ist phptags(nicht das gleichnamige viTool), das speziell nach PHP-Skripten sucht:

phptags --warn ./

Gibt etwas aus wie:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

Und der --whitespaceModus behebt solche Probleme automatisch (rekursiv, behauptet jedoch, dass nur .php-Skripte neu geschrieben werden.)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 Setzt zwischen jedem Dateinamen eine Null \ 0, anstatt neue Zeilen zu verwenden
• xargs -0 erwartet null getrennte Argumente anstelle von zeilengetrennten
• grep -l listet die Dateien auf, die dem regulären Ausdruck entsprechen
• Der ^\xeff\xbb\xbfreguläre Ausdruck ist nicht ganz korrekt, da er mit UTF-8-Dateien ohne BOMed übereinstimmt, wenn sie am Anfang einer Zeile Leerzeichen mit einer Breite von Null haben

Ich habe dies verwendet, um nur JavaScript-Dateien zu korrigieren:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

Wenn Sie nach UTF-Dateien suchen, funktioniert der Befehl file . Hier erfahren Sie, wie die Codierung der Datei lautet. Wenn sich dort Nicht-ASCII-Zeichen befinden, wird UTF angezeigt.

file *.php | grep UTF

Das wird aber nicht rekursiv funktionieren. Sie können wahrscheinlich einen ausgefallenen Befehl erstellen, um ihn rekursiv zu machen, aber ich habe jede Ebene einzeln wie folgt durchsucht, bis mir die Ebenen ausgegangen sind.

file */*.php | grep UTF