Verarbeiten Sie eine Datei, die mit einer Stückliste beginnt (FF FE).

10

Ich habe eine CSV-Datei mit der FF FEStückliste erhalten:

$ head -n1 dotan.csv | hd
00000000  ff fe 41 00 64 00 20 00  67 00 72 00 6f 00 75 00  |..A.d. .g.r.o.u.|

Beim awkParsen erhalte ich eine Reihe von Null-Bytes, was vermutlich auf die Bytereihenfolge zurückzuführen ist. Wie kann ich die Bytereihenfolge für diese Datei (mithilfe der CLI) austauschen, damit normale Tools damit arbeiten?

Beachten Sie, dass ich denke, dass diese Datei nur aus ASCII-Zeichen besteht (mit Ausnahme der Stückliste), aber ich kann dies nicht bestätigen, da ich grepdenke, dass es sich um eine Binärdatei handelt:

$ grep -P '^[\x00-\x7f]' dotan.csv 
Binary file dotan.csv matches

Wenn Sie in VIM nach derselben Zeichenfolge suchen, werden alle Zeichen angezeigt!

Durch iconvdie Konvertierung in ASCII werden \ x00-Werte nicht entfernt, sondern das Problem wird noch schlimmer, da sie jetzt wie Null-Bytes anstelle von UTF-8 aussehen!

$ iconv -f UTF-8 -t ASCII dotan.csv > fixed.txt 
iconv: illegal input sequence at position 0

$ iconv -f UTF-8 -t ASCII//IGNORE dotan.csv > fixed.txt

$ head -n1 fixed.txt | hd
00000000  41 00 64 00 20 00 67 00  72 00 6f 00 75 00 70 00  |A.d. .g.r.o.u.p.|

Wie kann ich die Bytereihenfolge für diese Datei (mithilfe der CLI) austauschen, damit normale Tools damit arbeiten?

text-processing character-encoding unicode

— dotancohen
quelle

Die CSV-Datei, die Sie unter Windows oder Mac erstellt haben?

— Cuonglm

Können Sie einen Teil der Datei geben?

— Cuonglm

Hier ist ein Link zu einem anonymisierten Teil der Datei, der die einzigartigen Probleme damit bewahrt. Danke!

— Dotancohen

15

Von diesem Wikipedia - Artikel , FF FEbedeutet UTF16LE. Sie sollten also anweisen iconv, von UTF16LEzu konvertieren UTF8:

iconv -f UTF-16LE -t UTF-8 dotan.csv > fixed.txt

— cuonglm
quelle

Perfekt, danke! Ich hatte die Stücklisten UTF-8 und UTF-16 verwechselt: Ich dachte, dass FFFE und FEFF UTF-8 sind, und ich kannte die Stücklisten UTF-16 nie. Eigentlich sind das UTF-16-Stücklisten, und ich habe die (nutzlose) UTF-8-Stückliste nie gekannt!.

— Dotancohen

@dotancohen: Ich teste in meinem Fedora und die tailLösung funktioniert gut. Welches Betriebssystem verwenden Sie?

— Cuonglm

Dies funktioniert nicht (dh entfernen Sie die Stückliste) für die Version "iconv (GNU libiconv 1.14)" in Git Bash unter Windows. Aber (aus welchem Grund auch immer) funktioniert es, nur UTF-16anstelle einer der Versionen mit Bytereihenfolge zu arbeiten.

— Kenny Evitt

3

dos2unix entfernt auch Stücklisten und konvertiert UTF-16 in UTF-8:

$ printf %s あ|recode ..utf16 >a;xxd -p a;dos2unix a;xxd -p a
feff3042
dos2unix: converting file a to Unix format...
e38182

dos2unix entfernt auch UTF-8-Stücklisten:

$ printf %b '\xef\xbb\xbfa'>a;dos2unix a;xxd -p a
dos2unix: converting file a to Unix format...
61

— Nisetama
quelle

0

Auch auf StackOverflow beantwortet: Wie kann ich die Stückliste aus einer UTF-8-Datei entfernen? @rici hat eine gute Antwort.

Kurze Antwort:

Kurze Antwort : sed -i $'1s/^\uFEFF//' file.txt, aber nicht unter BSD oder OS / X.
Eine andere Antwort: vi file.txt, :set nobomb, :w, einfache , aber Handbuch
Installieren Sie dos2unuix; dos2unix -r file.txt
Diese Markierungen haben mehrere mögliche Bedeutungen, einschließlich der Tatsache, dass die Datei UTF-8 ist. siehe den Wikipedia-Artikel .
Windows-Programme lieben es, diese Markierungen hinzuzufügen. Die meisten Editoren entfernen diese Markierungen nicht.

— Charles Merriam
quelle