Schreiben Sie in eine UTF-8-Datei in Python

Ich bin wirklich verwirrt mit dem codecs.open function. Wenn ich es tue:

file = codecs.open("temp", "w", "utf-8")
file.write(codecs.BOM_UTF8)
file.close()

Es gibt mir den Fehler

UnicodeDecodeError: Der Codec 'ascii' kann das Byte 0xef an Position 0 nicht dekodieren: Ordnungszahl nicht im Bereich (128)

Wenn ich mache:

file = open("temp", "w")
file.write(codecs.BOM_UTF8)
file.close()

Es funktioniert gut.

Die Frage ist, warum die erste Methode fehlschlägt. Und wie füge ich die Bombe ein?

Wenn die zweite Methode die richtige ist, wozu dann codecs.open(filename, "w", "utf-8")?

Ich glaube, das Problem ist, dass codecs.BOM_UTF8es sich um eine Byte-Zeichenfolge handelt, nicht um eine Unicode-Zeichenfolge. Ich vermute, der Datei-Handler versucht zu erraten, was Sie wirklich meinen, basierend auf "Ich soll Unicode als UTF-8-codierten Text schreiben, aber Sie haben mir eine Byte-Zeichenfolge gegeben!"

Versuchen Sie, die Unicode-Zeichenfolge für die Bytereihenfolge (dh Unicode U + FEFF) direkt zu schreiben, sodass die Datei diese nur als UTF-8 codiert:

import codecs

file = codecs.open("lol", "w", "utf-8")
file.write(u'\ufeff')
file.close()

(Das scheint die richtige Antwort zu geben - eine Datei mit Bytes EF BB BF.)

EDIT: S. Lotts Vorschlag , "utf-8-sig" als Codierung zu verwenden, ist besser als das explizite Schreiben der Stückliste selbst, aber ich werde diese Antwort hier belassen, da sie erklärt, was vorher falsch gelaufen ist.

Lesen Sie Folgendes: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

Mach das

with codecs.open("test_output", "w", "utf-8-sig") as temp:
    temp.write("hi mom\n")
    temp.write(u"This has ♭")

Die resultierende Datei ist UTF-8 mit der erwarteten Stückliste.

@ S-Lott bietet die richtige Vorgehensweise, aber der Python- Interpreter erweitert die Unicode- Probleme und bietet weitere Einblicke.

Jon Skeet hat Recht (ungewöhnlich) mit dem codecsModul - es enthält Byte-Strings:

>>> import codecs
>>> codecs.BOM
'\xff\xfe'
>>> codecs.BOM_UTF8
'\xef\xbb\xbf'
>>> 

Wenn Sie eine andere Nit auswählen, BOMhat der einen Standard- Unicode- Namen und kann wie folgt eingegeben werden:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}"
>>> bom
u'\ufeff'

Es ist auch zugänglich über unicodedata:

>>> import unicodedata
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE')
u'\ufeff'
>>> 

Ich verwende den Befehl file * nix, um eine unbekannte Zeichensatzdatei in eine utf-8-Datei zu konvertieren

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs
import commands

file_location = "jumper.sub"
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location)

file_stream = codecs.open(file_location, 'r', file_encoding)
file_output = codecs.open(file_location+"b", 'w', 'utf-8')

for l in file_stream:
    file_output.write(l)

file_stream.close()
file_output.close()