Wie finde ich die Codierung einer Datei per Skript unter Linux?

Ich muss die Codierung aller Dateien finden, die in einem Verzeichnis abgelegt sind. Gibt es eine Möglichkeit, die verwendete Codierung zu finden?

Der fileBefehl kann dies nicht.

Die für mich interessante Codierung lautet: ISO-8859-1. Wenn die Codierung etwas anderes ist, möchte ich die Datei in ein anderes Verzeichnis verschieben.

Klingt wie Sie suchen enca. Es kann zwischen Codierungen raten und sogar konvertieren. Schauen Sie sich einfach die Manpage an .

Andernfalls verwenden Sie file -i(Linux) oder file -I(Osx). Dadurch werden Informationen vom Typ MIME für die Datei ausgegeben, die auch die Zeichensatzcodierung enthalten. Ich habe auch eine Manpage dafür gefunden :)

file -bi <file name>

Wenn Sie dies für eine Reihe von Dateien tun möchten

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Eine von Mozilla portierte Codierungsdetektorbibliothek.

Verwendungszweck:

~> uchardet file.java 
UTF-8

Verschiedene Linux-Distributionen (Debian / Ubuntu, OpenSuse-Packman, ...) bieten Binärdateien.

Hier ist ein Beispielskript mit Datei -I und iconv, das unter MacOsX funktioniert. Für Ihre Frage müssen Sie mv anstelle von iconv verwenden

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Es ist wirklich schwer festzustellen, ob es sich um ISO-8859-1 handelt. Wenn Sie einen Text mit nur 7-Bit-Zeichen haben, der auch iso-8859-1 sein könnte, aber Sie wissen es nicht. Wenn Sie 8-Bit-Zeichen haben, sind die Zeichen des oberen Bereichs auch in der Reihenfolge der Codierungen vorhanden. Daher müssten Sie ein Wörterbuch verwenden, um besser zu erraten, um welches Wort es sich handelt, und um von dort aus zu bestimmen, welcher Buchstabe es sein muss. Wenn Sie schließlich feststellen, dass es sich möglicherweise um utf-8 handelt, sind Sie sicher, dass es sich nicht um iso-8859-1 handelt

Das Codieren ist eines der schwierigsten Dinge, weil Sie nie wissen, ob Ihnen nichts sagt

In Debian können Sie auch: encguess:

$ encguess test.txt
test.txt  US-ASCII

So konvertieren Sie die Codierung von 8859 in ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Mit Python können Sie das Chardet-Modul verwenden: https://github.com/chardet/chardet

Dies können Sie nicht kinderleicht tun. Eine Möglichkeit wäre, jedes Zeichen in der Datei zu prüfen , um sicherzustellen , dass es keine Zeichen enthält in den Bereichen 0x00 - 0x1foder 0x7f -0x9faber, wie gesagt, dies mag wahr sein , für eine beliebige Anzahl von Dateien, einschließlich mindestens einer anderen Variante von ISO8859.

Eine andere Möglichkeit besteht darin, in allen unterstützten Sprachen nach bestimmten Wörtern in der Datei zu suchen und zu prüfen, ob Sie sie finden können.

Suchen Sie beispielsweise in allen unterstützten Sprachen von 8859-1 das Äquivalent von Englisch "und", "aber", "zu", "von" usw. und prüfen Sie, ob sie eine große Anzahl von Vorkommen in der Sprache enthalten Datei.

Ich spreche nicht von wörtlicher Übersetzung wie:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

obwohl das möglich ist. Ich spreche über gebräuchliche Wörter in der Zielsprache (nach allem, was ich weiß, hat Isländisch kein Wort für "und" - Sie müssten wahrscheinlich ihr Wort für "Fisch" verwenden [Entschuldigung, das ist ein wenig stereotyp, habe ich nicht meine jede Straftat, nur um einen Punkt zu veranschaulichen]).

Ich weiß, dass Sie an einer allgemeineren Antwort interessiert sind, aber was in ASCII gut ist, ist normalerweise in anderen Codierungen gut. Hier ist ein Python-Einzeiler, um festzustellen, ob die Standardeingabe ASCII ist. (Ich bin mir ziemlich sicher, dass dies in Python 2 funktioniert, aber ich habe es nur auf Python 3 getestet.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Wenn es sich um XML-Dateien handelt (ISO-8859-1), gibt die darin enthaltene XML-Deklaration die Codierung an: <?xml version="1.0" encoding="ISO-8859-1" ?>
Sie können also reguläre Ausdrücke (z. B. mit perl) verwenden, um jede Datei auf eine solche Spezifikation zu überprüfen.
Weitere Informationen finden Sie hier: So bestimmen Sie die Codierung von Textdateien .

In PHP können Sie wie folgt überprüfen:

Codierungsliste explizit angeben:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Genauere "mb_list_encodings":

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Hier im ersten Beispiel können Sie sehen, dass ich eine Liste von Codierungen (Listenreihenfolge erkennen) eingefügt habe, die möglicherweise übereinstimmen. Um ein genaueres Ergebnis zu erhalten, können Sie alle möglichen Codierungen verwenden über: mb_list_encodings ()

Hinweis mb_ * -Funktionen erfordern php-mbstring

apt-get install php-mbstring

In Cygwin sieht das so aus, als würde es bei mir funktionieren:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Beispiel:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Sie können dies an awk weiterleiten und einen iconv-Befehl erstellen, um alles von jeder von iconv unterstützten Quellcodierung in utf8 zu konvertieren.

Beispiel:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Sie können die Codierung einer einzelnen Datei mit dem Befehl file extrahieren. Ich habe eine sample.html-Datei mit:

$ file sample.html 

sample.html: HTML-Dokument, UTF-8-Unicode-Text mit sehr langen Zeilen

$ file -b sample.html

HTML-Dokument, UTF-8-Unicode-Text, mit sehr langen Zeilen

$ file -bi sample.html

Text / HTML; Zeichensatz = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Ich benutze das folgende Skript um

1. Suchen Sie alle Dateien, die FILTER mit SRC_ENCODING übereinstimmen
2. Erstellen Sie eine Sicherungskopie davon
3. Konvertieren Sie sie in DST_ENCODING
4. (optional) Entfernen Sie die Backups

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

mit diesem Befehl:

for f in `find .`; do echo `file -i "$f"`; done

Sie können alle Dateien in einem Verzeichnis und Unterverzeichnissen sowie die entsprechende Codierung auflisten.

Verwenden Sie in Perl Encode :: Detect.