Wir haben unsere Codebasis bereits unter Python 2.6 zum Laufen gebracht. Um sich auf Python 3.0 vorzubereiten, haben wir Folgendes hinzugefügt:
aus __future__ importiere unicode_literals
in unsere .pyDateien (wie wir sie ändern). Ich frage mich, ob jemand anderes dies getan hat und auf nicht offensichtliche Fallstricke gestoßen ist (möglicherweise nachdem er viel Zeit mit dem Debuggen verbracht hat).
Antworten:
Die Hauptursache für Probleme bei der Arbeit mit Unicode-Zeichenfolgen ist das Mischen von utf-8-codierten Zeichenfolgen mit Unicode-Zeichenfolgen.
Betrachten Sie beispielsweise die folgenden Skripte.
two.py
# encoding: utf-8
name = 'helló wörld from two'one.py
# encoding: utf-8
from __future__ import unicode_literals
import two
name = 'helló wörld from one'
print name + two.nameDie Ausgabe von running python one.pyist:
Traceback (most recent call last):
File "one.py", line 5, in <module>
print name + two.name
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 4: ordinal not in range(128)In diesem Beispiel two.namehandelt es sich um eine utf-8-codierte Zeichenfolge (kein Unicode), da sie nicht importiert wurde unicode_literals, und one.nameum eine Unicode-Zeichenfolge. Wenn Sie beide mischen, versucht Python, die codierte Zeichenfolge zu dekodieren (vorausgesetzt, es handelt sich um ASCII), und konvertiert sie in Unicode. Es würde funktionieren, wenn Sie es tun würden print name + two.name.decode('utf-8').
Das gleiche kann passieren, wenn Sie eine Zeichenfolge codieren und später versuchen, sie zu mischen. Zum Beispiel funktioniert dies:
# encoding: utf-8
html = '<html><body>helló wörld</body></html>'
if isinstance(html, unicode):
html = html.encode('utf-8')
print 'DEBUG: %s' % htmlAusgabe:
DEBUG: <html><body>helló wörld</body></html>Aber nach dem Hinzufügen der import unicode_literalstut es NICHT:
# encoding: utf-8
from __future__ import unicode_literals
html = '<html><body>helló wörld</body></html>'
if isinstance(html, unicode):
html = html.encode('utf-8')
print 'DEBUG: %s' % htmlAusgabe:
Traceback (most recent call last):
File "test.py", line 6, in <module>
print 'DEBUG: %s' % html
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 16: ordinal not in range(128)Es schlägt fehl, weil 'DEBUG: %s'es sich um eine Unicode-Zeichenfolge handelt und Python daher versucht, sie zu dekodieren html. Ein paar Möglichkeiten , um den Druck zu beheben sind entweder tun print str('DEBUG: %s') % htmloder print 'DEBUG: %s' % html.decode('utf-8').
Ich hoffe, dies hilft Ihnen dabei, die möglichen Fallstricke bei der Verwendung von Unicode-Zeichenfolgen zu verstehen.
when you mix utf-8 encoded strings with unicode onesUTF-8 und Unicode sind nicht zwei verschiedene Codierungen. Unicode ist ein Standard und UTF-8 ist eine der von ihm definierten Codierungen.
str, letzteres ist vom Typ unicode. Da es sich um verschiedene Objekte handelt, kann ein Problem auftreten, wenn Sie versuchen, diese zu summieren / zu verketten / zu interpolieren
python>=2.6oder python==2.6?
Auch in 2.6 (vor Python 2.6.5 RC1 +) spielen Unicode-Literale nicht gut mit Schlüsselwortargumenten ( Ausgabe 4978 ):
Der folgende Code funktioniert beispielsweise ohne unicode_literals, schlägt jedoch mit TypeError fehl: keywords must be stringWenn unicode_literals verwendet wird.
>>> def foo(a=None): pass
...
>>> foo(**{'a':1})
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: foo() keywords must be stringsIch habe festgestellt, dass Sie, wenn Sie die unicode_literalsDirektive hinzufügen, auch Folgendes hinzufügen sollten:
# -*- coding: utf-8in die erste oder zweite Zeile Ihrer .py-Datei. Ansonsten Zeilen wie:
foo = "barré"führen zu einem Fehler wie:
SyntaxError: Nicht-ASCII-Zeichen '\ xc3' in der Datei mumble.py in Zeile 198, aber keine Kodierung deklariert; Siehe http://www.python.org/peps/pep-0263.html für Details
# -*- coding: utf-8ist also eine praktisch obligatorische Aussage, unabhängig davon, ob Sie sie verwenden unicode_literalsoder nicht
-*-ist nicht erforderlich; Wenn Sie sich für den Emacs-kompatiblen Weg entscheiden würden, würden Sie ihn wahrscheinlich brauchen -*- encoding: utf-8 -*-(siehe auch -*-am Ende). Alles was Sie brauchen ist coding: utf-8(oder sogar =statt : ).
from __future__ import unicode_literals.
# -*- coding: utf-8 -*- "Codierung" (nicht "Codierung" oder "Dateicodierung" oder irgendetwas anderes - Python sucht nur nach "Codierung", unabhängig von einem Präfix).
Berücksichtigen Sie auch, dass dies unicode_literalAuswirkungen hat, eval()aber nicht repr()(ein asymmetrisches Verhalten, das imho ein Fehler ist), dh eval(repr(b'\xa4'))nicht gleich b'\xa4'(wie bei Python 3).
Im Idealfall ist der folgende Code eine Invariante, die für alle Kombinationen von unicode_literalsPython {2.7, 3.x} immer funktionieren sollte :
from __future__ import unicode_literals
bstr = b'\xa4'
assert eval(repr(bstr)) == bstr # fails in Python 2.7, holds in 3.1+
ustr = '\xa4'
assert eval(repr(ustr)) == ustr # holds in Python 2.7 and 3.1+Die zweite Behauptung funktioniert zufällig, da repr('\xa4')sie u'\xa4'in Python 2.7 ausgewertet wird .
reprein Objekt regenerieren. Aus der reprDokumentation geht eindeutig hervor, dass dies keine Voraussetzung ist. Meiner Meinung reprnach bedeutet dies nur etwas Nützliches zum Debuggen.
Da sind mehr.
Es gibt Bibliotheken und integrierte Funktionen, die Zeichenfolgen erwarten, die keinen Unicode tolerieren.
Zwei Beispiele:
eingebaut:
myenum = type('Enum', (), enum)(leicht esotisch) funktioniert nicht mit unicode_literals: type () erwartet einen String.
Bibliothek:
from wx.lib.pubsub import pub
pub.sendMessage("LOG MESSAGE", msg="no go for unicode literals")funktioniert nicht: Die wx-Pubsub-Bibliothek erwartet einen String-Nachrichtentyp.
Ersteres ist esoterisch und leicht zu reparieren
myenum = type(b'Enum', (), enum)Letzteres ist jedoch verheerend, wenn Ihr Code voller Aufrufe von pub.sendMessage () ist (was meins ist).
Verdammt, was?!?
class Meta:seinb'field_name'
Durch Klicken werden überall Unicode-Ausnahmen ausgelöst, wenn ein Modul dort from __future__ import unicode_literalsimportiert wird, wo Sie es verwenden click.echo. Es ist ein Albtraum…
decode()Lösungen anstelle derstr()oderencode()-Lösungen zu verwenden: Je häufiger Sie Unicode-Objekte verwenden, desto klarer ist der Code, da Sie Zeichenfolgen und keine Byte-Arrays mit einer extern implizierten Codierung bearbeiten möchten.