Festlegen der richtigen Codierung beim Weiterleiten von stdout in Python

Wenn die Ausgabe eines Python-Programms weitergeleitet wird, ist der Python-Interpreter verwirrt über die Codierung und setzt sie auf Keine. Dies bedeutet ein Programm wie dieses:

# -*- coding: utf-8 -*-
print u"åäö"

funktioniert bei normaler Ausführung einwandfrei, schlägt jedoch fehl mit:

UnicodeEncodeError: Der Codec 'ascii' kann das Zeichen u '\ xa0' an Position 0 nicht codieren: Ordnungszahl nicht im Bereich (128)

bei Verwendung in einer Rohrfolge.

Was ist der beste Weg, um diese Arbeit beim Verrohren zu machen? Kann ich ihm einfach sagen, dass er die Codierung verwenden soll, die die Shell / das Dateisystem / was auch immer verwendet?

Die Vorschläge, die ich bisher gesehen habe, sind, Ihre site.py direkt zu ändern oder die Defaultencodierung mit diesem Hack fest zu codieren:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

Gibt es einen besseren Weg, um Rohrleitungen zum Laufen zu bringen?

Ihr Code funktioniert, wenn er in einem Skript ausgeführt wird, da Python die Ausgabe in die von Ihrer Terminalanwendung verwendete Codierung codiert. Wenn Sie Rohrleitungen verwenden, müssen Sie diese selbst codieren.

Als Faustregel gilt: Verwenden Sie Unicode immer intern. Dekodieren Sie, was Sie empfangen, und kodieren Sie, was Sie senden.

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Ein weiteres didaktisches Beispiel ist ein Python-Programm zum Konvertieren zwischen ISO-8859-1 und UTF-8, bei dem alles dazwischen in Großbuchstaben geschrieben wird.

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

Das Festlegen der Standardcodierung des Systems ist eine schlechte Idee, da einige von Ihnen verwendete Module und Bibliotheken sich darauf verlassen können, dass es sich um ASCII handelt. Tu es nicht.

Zunächst zu dieser Lösung:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Es ist nicht praktisch, jedes Mal explizit mit einer bestimmten Codierung zu drucken. Das wäre repetitiv und fehleranfällig.

Eine bessere Lösung besteht darin, sys.stdoutzu Beginn Ihres Programms zu ändern und mit einer ausgewählten Codierung zu codieren. Hier ist eine Lösung, die ich in Python gefunden habe: Wie wird sys.stdout.encoding ausgewählt? , insbesondere ein Kommentar von "toka":

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

Möglicherweise möchten Sie versuchen, die Umgebungsvariable "PYTHONIOENCODING" in "utf_8" zu ändern. Ich habe eine Seite über meine Tortur mit diesem Problem geschrieben .

Tl; dr des Blogposts:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

gibt Ihnen

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

mach den Job, kann ihn aber nicht auf Python selbst einstellen ...

Was wir tun können, ist zu überprüfen, ob es nicht eingestellt ist, und den Benutzer anzuweisen, es vor dem Aufruf des Skripts festzulegen mit:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

Update, um auf den Kommentar zu antworten: Das Problem besteht nur beim Weiterleiten an stdout. Ich habe in Fedora 25 Python 2.7.13 getestet

python --version
Python 2.7.13

Katze b.py.

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

läuft ./b.py

UTF-8

läuft ./b.py | weniger

None

Ich hatte letzte Woche ein ähnliches Problem . Es war einfach in meiner IDE (PyCharm) zu beheben.

Hier war mein Fix:

Ausgehend von der PyCharm-Menüleiste: Datei -> Einstellungen ... -> Editor -> Dateicodierungen, dann festlegen: "IDE-Codierung", "Projektcodierung" und "Standardcodierung für Eigenschaftendateien" ALL bis UTF-8 und sie arbeitet jetzt wie ein Zauber.

Hoffe das hilft!

Eine wohl bereinigte Version von Craig McQueens Antwort.

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

Verwendungszweck:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

Ich könnte es mit einem Aufruf "automatisieren":

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

Ja, es ist möglich, hier eine Endlosschleife zu erhalten, wenn dieses "Setenv" fehlschlägt.

Ich dachte nur, ich würde hier etwas erwähnen, mit dem ich lange experimentieren musste, bevor ich endlich realisierte, was los war. Dies mag für alle hier so offensichtlich sein, dass sie sich nicht die Mühe gemacht haben, es zu erwähnen. Aber es hätte mir geholfen, wenn sie es getan hätten, also nach diesem Prinzip ...!

NB: Ich verwende Jython speziell, Version 2.7, daher gilt dies möglicherweise nicht für CPython ...

NB2: Die ersten beiden Zeilen meiner .py-Datei hier sind:

# -*- coding: utf-8 -*-
from __future__ import print_function

Der String-Konstruktionsmechanismus "%" (AKA "Interpolationsoperator") verursacht auch ZUSÄTZLICHE Probleme ... Wenn die Standardcodierung der "Umgebung" ASCII ist und Sie versuchen, so etwas zu tun

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Sie werden keine Schwierigkeiten haben, in Eclipse zu laufen ... In einer Windows-CLI (DOS-Fenster) werden Sie feststellen, dass die Codierung Codepage 850 (mein Windows 7-Betriebssystem) oder etwas Ähnliches ist, das zumindest Zeichen mit europäischem Akzent verarbeiten kann werde arbeiten.

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

wird auch funktionieren.

Wenn Sie, OTOH, von der CLI aus auf eine Datei verweisen, lautet die Standardcodierung None. Dies ist standardmäßig ASCII (auf meinem Betriebssystem ohnehin), das keinen der oben genannten Ausdrucke verarbeiten kann ... (gefürchtete Codierung) Error).

Dann könnten Sie daran denken, Ihr Standard mithilfe von umzuleiten

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

und versuchen Sie, die CLI-Piping zu einer Datei auszuführen ... Sehr seltsamerweise funktioniert Druck A oben ... Aber Druck B oben löst den Codierungsfehler aus! Folgendes funktioniert jedoch einwandfrei:

print( u"bonjour, " + "fréd" ) # Call this "print C"

Die Schlussfolgerung, zu der ich (vorläufig) gekommen bin, ist, dass, wenn eine Zeichenfolge, die als Unicode- Zeichenfolge mit dem Präfix "u" angegeben ist, an den% -Handhabungsmechanismus gesendet wird, anscheinend die Verwendung der Standardumgebungscodierung unabhängig davon verwendet wird ob Sie stdout auf Weiterleiten eingestellt haben!

Wie die Leute damit umgehen, ist eine Frage der Wahl. Ich würde einen Unicode-Experten begrüßen, der sagt, warum dies passiert, ob ich es irgendwie falsch verstanden habe, was die bevorzugte Lösung dafür ist, ob es auch für CPython gilt , ob es in Python 3 passiert usw. usw.

Ich bin in einer älteren Anwendung auf dieses Problem gestoßen, und es war schwierig zu identifizieren, wo was gedruckt wurde. Ich habe mir bei diesem Hack geholfen:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

Zusätzlich zu meinem Skript test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

Beachten Sie, dass dadurch ALLE Aufrufe zum Drucken geändert werden, um eine Codierung zu verwenden, sodass Ihre Konsole Folgendes druckt:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

Unter Windows hatte ich dieses Problem sehr oft, wenn ich einen Python-Code in einem Editor (wie Sublime Text) ausführte, aber nicht, wenn ich ihn über die Befehlszeile ausführte.

Überprüfen Sie in diesem Fall die Parameter Ihres Editors. Im Fall von SublimeText wurde dies Python.sublime-buildgelöst:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}