Was ist das schnellste und einfachste Tool oder die schnellste Methode zum Konvertieren von Textdateien zwischen Zeichensätzen?

Insbesondere muss ich von UTF-8 nach ISO-8859-15 konvertieren und umgekehrt.

Alles ist möglich: Einzeiler in Ihrer bevorzugten Skriptsprache, Befehlszeilentools oder andere Dienstprogramme für Betriebssysteme, Websites usw.

Beste Lösungen bisher:

Unter Linux / UNIX / OS X / cygwin:

• Das von Troels Arvin vorgeschlagene Gnu- Symbol wird am besten als Filter verwendet . Es scheint universell verfügbar zu sein. Beispiel:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Wie Ben betont hat , gibt es einen Online-Konverter, der iconv verwendet .

• Die von Cheekysoft vorgeschlagene Gnu- Neukodierung ( manuell ) konvertiert eine oder mehrere Dateien direkt . Beispiel:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Dieser verwendet kürzere Aliase:

  $ recode utf8..l9 in.txt
  

  Recode unterstützt auch Oberflächen, mit denen zwischen verschiedenen Zeilenendtypen und Codierungen konvertiert werden kann:

  Konvertieren Sie Zeilenumbrüche von LF (Unix) in CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Base64-Codierungsdatei:

  $ recode ../Base64 in.txt
  

  Sie können sie auch kombinieren.

  Konvertieren Sie eine Base64-codierte UTF8-Datei mit Unix-Zeilenenden in eine Base64-codierte Latin 1-Datei mit Dos-Zeilenenden:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

Unter Windows mit Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Keine ISO-8859-15-Unterstützung. Unterstützte Zeichensätze sind Unicode, utf7, utf8, utf32, ascii, bigendianunicode, default und oem.)

Bearbeiten

Meinen Sie die Unterstützung von ISO-8859-1? Die Verwendung von "String" bewirkt dies zB umgekehrt

gc -en string in.txt | Out-File -en utf8 out.txt

Hinweis: Die möglichen Aufzählungswerte sind "Unbekannt, Zeichenfolge, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - Kalyttas Zeichensatzkonverter ist ein weiteres großartiges befehlszeilenbasiertes Konvertierungstool für Windows.

Eigenständiger Utility- Ansatz

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Sie müssen keines dieser Argumente angeben. Sie verwenden standardmäßig Ihr aktuelles Gebietsschema, normalerweise UTF-8.

Versuchen Sie es mit VIM

Wenn Sie haben vim, können Sie dies verwenden:

Nicht für jede Codierung getestet.

Das Coole daran ist, dass Sie die Quellcodierung nicht kennen müssen

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Beachten Sie, dass dieser Befehl die Datei direkt ändert

Erklärungsteil!

1. +: Wird von vim verwendet, um beim Öffnen einer Datei den Befehl direkt einzugeben. Wird normalerweise zum Öffnen einer Datei in einer bestimmten Zeile verwendet:vim +14 file.txt
2. |: Trennzeichen für mehrere Befehle (wie ;in Bash)
3. set nobomb : keine utf-8 Stückliste
4. set fenc=utf8: Setzen Sie die neue Codierung auf utf-8 doc link
5. x : Datei speichern und schließen
6. filename.txt : Pfad zur Datei
7. ": qotes sind hier wegen rohren. (Andernfalls werden sie von bash als Bash-Pipe verwendet.)

Unter Linux können Sie mit dem sehr leistungsstarken Befehl recode versuchen, zwischen den verschiedenen Zeichensätzen und allen Problemen mit dem Zeilenende zu konvertieren. recode -l zeigt Ihnen alle Formate und Codierungen an, zwischen denen das Tool konvertieren kann. Es ist wahrscheinlich eine sehr lange Liste.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Es gibt auch iconv-basierte Tools in vielen Sprachen.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

Die kürzeste Version, wenn Sie davon ausgehen können, dass die Eingabestückliste korrekt ist:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Probieren Sie die iconv Bash-Funktion aus

Ich habe dies in .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

.. um Dateien wie folgt konvertieren zu können:

utf8 MyClass.java

Versuchen Sie Notepad ++

Unter Windows konnte ich Notepad ++ verwenden, um die Konvertierung von ISO-8859-1 nach UTF-8 durchzuführen . Klicken Sie auf "Encoding"und dann "Convert to UTF-8".

Oneliner mit find mit automatischer Zeichensatzerkennung

Die Zeichenkodierung aller übereinstimmenden Textdateien wird automatisch erkannt und alle übereinstimmenden Textdateien werden in die utf-8Codierung konvertiert :

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Um diese Schritte auszuführen, wird eine Unter-Shell shverwendet -exec, die einen Einzeiler mit dem -cFlag ausführt und den Dateinamen als Positionsargument "$1"mit übergibt -- {}. Dazwischen wird die utf-8Ausgabedatei vorübergehend benannt converted.

Wobei file -bibedeutet:

• -b, --brief Stellen Sie den Dateinamen keine Dateinamen voran (Kurzmodus).

• -i, --mime Bewirkt, dass der Befehl file anstelle von herkömmlichen Zeichenfolgen vom Typ MIME Zeichenfolgen vom Typ MIME ausgibt. So kann es zum Beispiel text/plain; charset=us-asciieher sagen als ASCII text. Der sedBefehl schneidet dies nur so ab, us-asciiwie es von erforderlich ist iconv.

Der findBefehl ist für eine solche Dateiverwaltungsautomatisierung sehr nützlich. Klicken Sie hier für mehr in findHülle und Fülle .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: Codepage verwenden

chcp 65001>NUL
type ascii.txt > unicode.txt

Mit dem Befehl chcpkann die Codepage geändert werden. Die Codepage 65001 ist der Microsoft-Name für UTF-8. Nach dem Einstellen der Codepage wird für die Ausgabe, die durch die folgenden Befehle generiert wird, die Codepage festgelegt.

Um normalerweise eine Eigenschaftendatei (Java) zu schreiben, verwende ich diese unter Linux (Mint- und Ubuntu-Distributionen):

$ native2ascii filename.properties

Zum Beispiel:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: Ich habe die Hinrichtung Nummer eins / zwei in Portugal geschrieben, um Sonderzeichen zu erzwingen.

In meinem Fall habe ich bei der ersten Ausführung folgende Nachricht erhalten:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Als ich die erste Option (gcj-5-jdk) installiert habe, war das Problem behoben.

Ich hoffe das hilft jemandem.

Mit Rubin:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Quelle: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Verwenden Sie dieses Python-Skript: https://github.com/goerz/convert_encoding.py Funktioniert auf jeder Plattform. Benötigt Python 2.7.

Mein Lieblingswerkzeug dafür ist Jedit (ein Java-basierter Texteditor), der zwei sehr praktische Funktionen hat:

• Eine, die es dem Benutzer ermöglicht, einen Text mit einer anderen Codierung neu zu laden (und als solche das Ergebnis visuell zu steuern).
• Eine andere, mit der der Benutzer die Codierung (und das Zeilenendezeichen) vor dem Speichern explizit auswählen kann

Ändern Sie einfach die Codierung der geladenen Datei in der IntelliJ IDEA IDE rechts in der Statusleiste (unten), wo der aktuelle Zeichensatz angezeigt wird. Es wird aufgefordert, neu zu laden oder zu konvertieren und Konvertieren zu verwenden. Stellen Sie sicher, dass Sie die Originaldatei im Voraus gesichert haben.

Wenn MacOS-GUI-Anwendungen Ihr Brot und Butter sind, ist SubEthaEdit der Texteditor, den ich normalerweise zum Codieren-Wrangling verwende. Mit der "Konvertierungsvorschau" können Sie alle ungültigen Zeichen in der Ausgabecodierung anzeigen und korrigieren / entfernen.

Und es ist jetzt Open Source , also yay für sie 😉.

Wie beschrieben unter Wie korrigiere ich die Zeichenkodierung einer Datei? Synalyse It! Mit dieser Option können Sie unter OS X problemlos zwischen allen von der ICU-Bibliothek unterstützten Codierungen konvertieren .

Zusätzlich können Sie einige Bytes einer Datei anzeigen, die aus allen Codierungen in Unicode übersetzt wurde, um schnell zu sehen, welche für Ihre Datei die richtige ist.