UnicodeDecodeError: Der Codec 'utf8' kann das Byte 0x9c nicht dekodieren

Ich habe einen Socket-Server, der gültige UTF-8-Zeichen von Clients empfangen soll.

Das Problem ist, dass einige Clients (hauptsächlich Hacker) die falschen Daten darüber senden.

Ich kann den echten Client leicht unterscheiden, aber ich protokolliere alle gesendeten Daten in Dateien, damit ich sie später analysieren kann.

Manchmal bekomme ich solche Zeichen œ, die den UnicodeDecodeErrorFehler verursachen.

Ich muss in der Lage sein, die Zeichenfolge UTF-8 mit oder ohne diese Zeichen zu erstellen.

Aktualisieren:

Für meinen speziellen Fall war der Socket-Dienst ein MTA und daher erwarte ich nur ASCII-Befehle wie:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Ich habe das alles in JSON protokolliert.

Dann beschlossen einige Leute da draußen ohne gute Absichten, alle Arten von Müll zu verkaufen.

Aus diesem Grund ist es für meinen speziellen Fall vollkommen in Ordnung, die Nicht-ASCII-Zeichen zu entfernen.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

oder

str = unicode(str, errors='ignore')

Hinweis: Dadurch werden die betreffenden Zeichen entfernt (ignoriert) und die Zeichenfolge ohne sie zurückgegeben.

Für mich ist dies ein idealer Fall, da ich es als Schutz gegen Nicht-ASCII-Eingaben verwende, die von meiner Anwendung nicht zugelassen werden.

Alternativ: Verwenden Sie die Methode open aus dem codecsModul, um die Datei einzulesen:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Das Ändern der Engine von C auf Python hat den Trick für mich getan.

Motor ist C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Der Codec 'utf-8' kann das Byte 0x92 an Position 18 nicht dekodieren: Ungültiges Startbyte

Engine ist Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Keine Fehler für mich.

Diese Art von Problem tritt für mich jetzt auf, da ich zu Python 3 gewechselt bin. Ich hatte keine Ahnung, dass Python 2 einfach Probleme mit der Dateicodierung mit Dampf rollt.

Ich fand diese nette Erklärung der Unterschiede und wie man eine Lösung findet, nachdem keines der oben genannten für mich funktioniert hat.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Kurz gesagt, um Python 3 so ähnlich wie möglich zu Python 2 zu verhalten, verwenden Sie:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Lesen Sie jedoch den Artikel, es gibt keine Einheitslösung.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Ich hatte das gleiche Problem mit UnicodeDecodeErrorund habe es mit dieser Zeile gelöst. Ich weiß nicht, ob das der beste Weg ist, aber es hat bei mir funktioniert.

str = str.decode('unicode_escape').encode('utf-8')

Das erste ist Verwenden von get_encoding_type, um den Dateityp der Codierung abzurufen:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

das zweite, Öffnen der Dateien mit dem Typ:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Nur für den Fall, dass jemand das gleiche Problem hat. Ich verwende vim mit YouCompleteMe und konnte ycmd nicht mit dieser Fehlermeldung starten. Ich habe Folgendes getan: export LC_CTYPE="en_US.UTF-8"Das Problem ist behoben.

Was können Sie tun, wenn Sie Änderungen an einer Datei vornehmen müssen, aber die Codierung der Datei nicht kennen? Wenn Sie wissen, dass die Codierung ASCII-kompatibel ist und nur die ASCII-Teile untersuchen oder ändern möchten, können Sie die Datei mit dem Surrogateescape-Fehlerbehandler öffnen:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Ich habe dieses Problem nur durch Hinzufügen gelöst

df = pd.read_csv(fileName,encoding='latin1')