UnicodeEncodeError: Der Codec 'ascii' kann das Zeichen u '\ xa0' an Position 20 nicht codieren: Ordnungszahl nicht im Bereich (128)

Ich habe Probleme mit Unicode-Zeichen aus Text, der von verschiedenen Webseiten (auf verschiedenen Websites) abgerufen wurde. Ich benutze BeautifulSoup.

Das Problem ist, dass der Fehler nicht immer reproduzierbar ist. es funktioniert manchmal mit einigen Seiten, und manchmal barfs es, indem es ein wirft UnicodeEncodeError. Ich habe so gut wie alles versucht, was mir einfällt, und dennoch nichts gefunden, das konsistent funktioniert, ohne einen Unicode-Fehler auszulösen.

Einer der Codeabschnitte, die Probleme verursachen, ist unten dargestellt:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Hier ist eine Stapelverfolgung, die für einige Zeichenfolgen erstellt wird, wenn das obige Snippet ausgeführt wird:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Ich vermute, dass dies daran liegt, dass einige Seiten (oder genauer gesagt Seiten von einigen Websites) möglicherweise codiert sind, während andere möglicherweise nicht codiert sind. Alle Websites haben ihren Sitz in Großbritannien und bieten Daten, die für den Verbrauch in Großbritannien bestimmt sind. Es gibt also keine Probleme im Zusammenhang mit der Internalisierung oder dem Umgang mit Texten, die nicht in Englisch verfasst sind.

Hat jemand irgendwelche Ideen, wie man das löst, damit ich dieses Problem konsequent beheben kann?

Sie müssen das Python Unicode HOWTO lesen . Dieser Fehler ist das allererste Beispiel .

Stoppen Sie grundsätzlich die strKonvertierung von Unicode in codierten Text / Bytes.

Verwenden Sie stattdessen ordnungsgemäß .encode(), um die Zeichenfolge zu codieren:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

oder arbeiten vollständig in Unicode.

Dies ist ein klassischer Python-Unicode-Schmerzpunkt! Folgendes berücksichtigen:

a = u'bats\u00E0'
print a
 => batsà

Bis jetzt alles gut, aber wenn wir str (a) nennen, wollen wir sehen, was passiert:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Oh Dip, das wird niemandem nützen! Um den Fehler zu beheben, codieren Sie die Bytes explizit mit .encode und teilen Sie Python mit, welcher Codec verwendet werden soll:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

Das Problem ist, dass Python beim Aufrufen von str () die Standardzeichencodierung verwendet, um zu versuchen, die von Ihnen angegebenen Bytes zu codieren. In Ihrem Fall handelt es sich manchmal um Darstellungen von Unicode-Zeichen. Um das Problem zu beheben, müssen Sie Python mit .encode ('Whatever_unicode') mitteilen, wie mit der von Ihnen angegebenen Zeichenfolge umgegangen werden soll. Meistens sollten Sie mit utf-8 in Ordnung sein.

Eine hervorragende Darstellung zu diesem Thema finden Sie im PyCon-Vortrag von Ned Batchelder hier: http://nedbatchelder.com/text/unipain.html

Ich fand elegante Arbeit für mich, um Symbole zu entfernen und weiterhin Zeichenfolge als Zeichenfolge wie folgt beizubehalten:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Es ist wichtig zu beachten, dass die Verwendung der Option "Ignorieren" gefährlich ist, da dadurch die Unterstützung für Unicode (und Internationalisierung) stillschweigend aus dem Code entfernt wird, der sie verwendet (siehe Unicode konvertieren):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

Nun, ich habe alles versucht, aber es hat nicht geholfen. Nachdem ich herumgegoogelt hatte, dachte ich mir Folgendes und es half. Python 2.7 wird verwendet.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Ein subtiles Problem, das dazu führt, dass selbst der Druck fehlschlägt, besteht darin, dass Ihre Umgebungsvariablen falsch eingestellt sind, z. hier LC_ALL auf "C" gesetzt. In Debian raten sie davon ab, es einzustellen : Debian-Wiki im Gebietsschema

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Für mich hat funktioniert:

BeautifulSoup(html_text,from_encoding="utf-8")

Hoffe das hilft jemandem.

Ich habe tatsächlich festgestellt, dass es in den meisten Fällen viel einfacher ist, nur diese Zeichen zu entfernen:

s = mystring.decode('ascii', 'ignore')

Das Problem ist, dass Sie versuchen, ein Unicode-Zeichen zu drucken, Ihr Terminal dies jedoch nicht unterstützt.

Sie können versuchen, das language-pack-enPaket zu installieren, um Folgendes zu beheben:

sudo apt-get install language-pack-en

Hier werden Aktualisierungen der englischen Übersetzungsdaten für alle unterstützten Pakete (einschließlich Python) bereitgestellt. Installieren Sie bei Bedarf ein anderes Sprachpaket (abhängig davon, welche Zeichen Sie drucken möchten).

Bei einigen Linux-Distributionen ist dies erforderlich, um sicherzustellen, dass die englischen Standard-Gebietsschemas ordnungsgemäß eingerichtet sind (damit Unicode-Zeichen von Shell / Terminal verarbeitet werden können). Manchmal ist es einfacher, es zu installieren, als es manuell zu konfigurieren.

Stellen Sie dann beim Schreiben des Codes sicher, dass Sie die richtige Codierung in Ihrem Code verwenden.

Zum Beispiel:

open(foo, encoding='utf-8')

Wenn Sie immer noch ein Problem haben, überprüfen Sie Ihre Systemkonfiguration wie folgt:

• Ihre Gebietsschemadatei ( /etc/default/locale), die z

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  oder:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Wert von LANG/ LC_CTYPEin der Shell.

• Überprüfen Sie, welches Gebietsschema Ihre Shell unterstützt:

  locale -a | grep "UTF-8"

Demonstration des Problems und der Lösung in einer neuen VM.

1. Initialisieren und Bereitstellen der VM (z. B. mithilfe vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Siehe: verfügbare Ubuntu-Boxen .} .

2. Drucken von Unicode-Zeichen (z. B. Markenzeichen ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Jetzt installieren language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Jetzt sollte das Problem gelöst sein:

   $ python -c 'print(u"\u2122");'
   ™

5. Versuchen Sie andernfalls den folgenden Befehl:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

In der Schale:

1. Suchen Sie das unterstützte UTF-8-Gebietsschema mit dem folgenden Befehl:

   locale -a | grep "UTF-8"

2. Exportieren Sie es, bevor Sie das Skript ausführen, z.

   export LC_ALL=$(locale -a | grep UTF-8)

   oder manuell wie:

   export LC_ALL=C.UTF-8

3. Testen Sie es, indem Sie ein Sonderzeichen drucken, z ™.

   python -c 'print(u"\u2122");'

Oben in Ubuntu getestet.

Fügen Sie unten am Anfang Ihres Skripts (oder als zweite Zeile) eine Zeile hinzu:

# -*- coding: utf-8 -*-

Das ist die Definition der Python-Quellcode-Codierung. Weitere Infos in PEP 263 .

Hier ist eine Wiederholung einiger anderer sogenannter "Cop-out" -Antworten. Es gibt Situationen, in denen es trotz der hier geäußerten Proteste eine gute Lösung ist, die lästigen Charaktere / Saiten einfach wegzuwerfen.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Testen:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

Ergebnisse:

1
test
98°
98

Vorschlag: Vielleicht möchten Sie diese Funktion toAsciistattdessen benennen ? Das ist eine Frage der Präferenz.

Dies wurde für Python 2 geschrieben. Für Python 3 möchten Sie wahrscheinlich bytes(obj,"ascii")eher als verwenden str(obj). Ich habe das noch nicht getestet, aber ich werde es irgendwann tun und die Antwort überarbeiten.

Ich habe immer den folgenden Code in die ersten beiden Zeilen der Python-Dateien eingefügt:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Einfache Hilfsfunktionen finden Sie hier .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Fügen Sie einfach eine Variablencodierung hinzu ('utf-8')

agent_contact.encode('utf-8')

Bitte öffnen Sie das Terminal und lösen Sie den folgenden Befehl aus:

export LC_ALL="en_US.UTF-8"

Ich habe gerade folgendes benutzt:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Überprüfen Sie, was die Dokumentation dazu aussagt:

unicodedata.normalize (form, unistr) Gibt das normale Formular für die Unicode-Zeichenfolge unistr zurück. Gültige Werte für das Formular sind 'NFC', 'NFKC', 'NFD' und 'NFKD'.

Der Unicode-Standard definiert verschiedene Normalisierungsformen einer Unicode-Zeichenfolge, basierend auf der Definition der kanonischen Äquivalenz und der Kompatibilitätsäquivalenz. In Unicode können mehrere Zeichen auf verschiedene Arten ausgedrückt werden. Beispielsweise kann das Zeichen U + 00C7 (LATEINISCHER GROSSBUCHSTABE C MIT CEDILLA) auch als die Sequenz U + 0043 (LATEINISCHER GROSSBUCHSTABE C) U + 0327 (KOMBINIERENDE CEDILLA) ausgedrückt werden.

Für jedes Zeichen gibt es zwei Normalformen: Normalform C und Normalform D. Die Normalform D (NFD) wird auch als kanonische Zerlegung bezeichnet und übersetzt jedes Zeichen in seine zerlegte Form. Die Normalform C (NFC) wendet zuerst eine kanonische Zerlegung an und setzt dann wieder vorkombinierte Zeichen zusammen.

Zusätzlich zu diesen beiden Formen gibt es zwei zusätzliche Normalformen, die auf der Kompatibilitätsäquivalenz basieren. In Unicode werden bestimmte Zeichen unterstützt, die normalerweise mit anderen Zeichen vereinheitlicht werden. Zum Beispiel ist U + 2160 (ROMAN NUMERAL ONE) wirklich dasselbe wie U + 0049 (LATIN CAPITAL LETTER I). Es wird jedoch in Unicode aus Gründen der Kompatibilität mit vorhandenen Zeichensätzen (z. B. gb2312) unterstützt.

Die Normalform KD (NFKD) wendet die Kompatibilitätszerlegung an, dh ersetzt alle Kompatibilitätszeichen durch ihre Entsprechungen. Die Normalform KC (NFKC) wendet zuerst die Kompatibilitätszerlegung an, gefolgt von der kanonischen Zusammensetzung.

Selbst wenn zwei Unicode-Zeichenfolgen normalisiert sind und für einen menschlichen Leser gleich aussehen, sind sie möglicherweise nicht gleich, wenn einer Zeichen kombiniert und der andere nicht.

Löst es für mich. Simpel und einfach.

Die folgende Lösung hat bei mir funktioniert, habe gerade hinzugefügt

u "String"

(stellt die Zeichenfolge als Unicode dar) vor meiner Zeichenfolge.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

Leider funktioniert dies zumindest in Python 3 ...

Python 3

Manchmal liegt der Fehler in den Umgebungsvariablen und ist damit verbunden

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

wobei Fehler bei der Codierung ignoriert werden.

Ich hatte gerade dieses Problem und Google hat mich hierher geführt. Um die allgemeinen Lösungen hier zu ergänzen, hat dies für mich funktioniert:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

Ich hatte diese Idee, nachdem ich Neds Präsentation gelesen hatte .

Ich behaupte jedoch nicht vollständig zu verstehen, warum dies funktioniert. Wenn also jemand diese Antwort bearbeiten oder einen Kommentar zur Erklärung abgeben kann, werde ich es begrüßen.

Wir haben diesen Fehler beim Laufen festgestellt manage.py migrate in Django mit lokalisierten Geräten gespielt haben.

Unsere Quelle enthielt die # -*- coding: utf-8 -*-Deklaration, MySQL war korrekt für utf8 konfiguriert und Ubuntu hatte das entsprechende Sprachpaket und die entsprechenden Werte/etc/default/locale .

Das Problem war einfach, dass dem Django-Container (wir verwenden Docker) das fehlte LANG env var .

Einstellung LANGzu en_US.UTF-8und Neustarten des Behälters vor dem Wieder laufenden Migrationen das Problem behoben.

Viele Antworten hier (z. B. @agf und @Andbdrew) haben bereits die unmittelbarsten Aspekte der OP-Frage angesprochen.

Ich denke jedoch, dass es einen subtilen, aber wichtigen Aspekt gibt, der weitgehend ignoriert wurde und der für alle, die mich mögen, von großer Bedeutung ist, wenn sie versuchen, Codierungen in Python zu verstehen: Die Verwaltung der Zeichendarstellung in Python 2 und Python 3 ist völlig anders . Ich habe das Gefühl, dass ein großer Teil der Verwirrung damit zu tun hat, dass Leute über Codierungen in Python lesen, ohne sich der Version bewusst zu sein.

Ich empfehle jedem, der daran interessiert ist, die Grundursache des OP-Problems zu verstehen, zunächst Spolskys Einführung in Zeichendarstellungen und Unicode zu lesen und dann in Python 2 und Python 3 zu Batchelder auf Unicode zu wechseln .

Vermeiden Sie die Konvertierung der Variablen in str (Variable). Manchmal kann es das Problem verursachen.

Einfacher Tipp zu vermeiden:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

Das obige Beispiel löst auch den Encode-Fehler.

Wenn Sie so etwas haben, packet_data = "This is data"tun Sie dies in der nächsten Zeile direkt nach der Initialisierung packet_data:

unic = u''
packet_data = unic

Update für Python 3.0 und höher. Versuchen Sie Folgendes im Python-Editor:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Dadurch wird die Standardcodierung des Gebietsschemas des Systems auf das UTF-8-Format festgelegt.

Weitere Informationen finden Sie hier unter PEP 538 - Erzwingen des alten C-Gebietsschemas in ein UTF-8-basiertes Gebietsschema .

Ich hatte dieses Problem beim Versuch, Unicode-Zeichen auszugeben stdout, aber mitsys.stdout.write anstatt zu drucken auszugeben (damit ich auch die Ausgabe in eine andere Datei unterstützen konnte).

Aus der eigenen Dokumentation von BeautifulSoup habe ich dies mit der Codecs-Bibliothek gelöst:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Dieses Problem tritt häufig auf, wenn ein Django-Projekt mit Apache bereitgestellt wird. Weil Apache die Umgebungsvariable LANG = C in / etc / sysconfig / httpd setzt. Öffnen Sie einfach die Datei und kommentieren Sie diese Einstellung (oder ändern Sie sie in Ihren Geschmack). Oder verwenden Sie die Option lang des Befehls WSGIDaemonProcess. In diesem Fall können Sie verschiedene LANG-Umgebungsvariablen für verschiedene virtuelle Hosts festlegen.

Die empfohlene Lösung hat bei mir nicht funktioniert, und ich könnte damit leben, alle Nicht-ASCII-Zeichen zu löschen

s = s.encode('ascii',errors='ignore')

was mich mit etwas gestrippt hat, das keine Fehler wirft.

Das wird funktionieren:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Ausgabe:

>>>bats