IOError: [Errno 32] Pipe defekt: Python

Ich habe ein sehr einfaches Python 3-Skript:

f1 = open('a.txt', 'r')
print(f1.readlines())
f2 = open('b.txt', 'r')
print(f2.readlines())
f3 = open('c.txt', 'r')
print(f3.readlines())
f4 = open('d.txt', 'r')
print(f4.readlines())
f1.close()
f2.close()
f3.close()
f4.close()

Aber es heißt immer:

IOError: [Errno 32] Broken pipe

Ich habe im Internet alle komplizierten Möglichkeiten gesehen, dies zu beheben, aber ich habe diesen Code direkt kopiert, sodass ich denke, dass etwas mit dem Code nicht stimmt und nicht mit Pythons SIGPIPE.

Ich leite die Ausgabe um. Wenn das obige Skript "open.py" heißt, lautet mein Befehl zum Ausführen:

open.py | othercommand

Ich habe das Problem nicht reproduziert, aber vielleicht würde diese Methode es lösen: (Zeile für Zeile schreiben, stdoutanstatt zu verwenden print)

import sys
with open('a.txt', 'r') as f1:
    for line in f1:
        sys.stdout.write(line)

Sie könnten das kaputte Rohr fangen? Dadurch wird die Datei stdoutzeilenweise geschrieben, bis die Pipe geschlossen wird.

import sys, errno
try:
    with open('a.txt', 'r') as f1:
        for line in f1:
            sys.stdout.write(line)
except IOError as e:
    if e.errno == errno.EPIPE:
        # Handle error

Sie müssen auch sicherstellen, dass othercommanddie Pipe aus der Pipe gelesen wird, bevor sie zu groß wird - /unix/11946/how-big-is-the-pipe-buffer

Das Problem ist auf die SIGPIPE-Behandlung zurückzuführen. Sie können dieses Problem mit dem folgenden Code lösen:

from signal import signal, SIGPIPE, SIG_DFL
signal(SIGPIPE,SIG_DFL) 

Hier finden Sie Hintergrundinformationen zu dieser Lösung. Besser hier antworten .

Zu bringen , Alex L. hilfreiche Antwort , Akhan der hilfreiche Antwort und Blckknght des hilfreiche Antwort zusammen mit einigen zusätzlichen Informationen:

• Das Standard-Unix-SignalSIGPIPE wird an einen Prozess gesendet, der in eine Pipe schreibt , wenn (nicht mehr) kein Prozess von der Pipe gelesen wird .

  • Dies ist nicht unbedingt eine Fehlerbedingung . Einige Unix-Dienstprogramme, z. B. head von Natur aus , hören auf, vorzeitig aus einer Pipe zu lesen, sobald sie genügend Daten erhalten haben.

• In der Standardeinstellung - das heißt, wenn der Schreibvorgang nicht explizit Fall SIGPIPE - der Schreibvorgang wird einfach beendet , und ihr Exit - Code ist auf141 , die wie folgt berechnet wird 128(um Signal Beendigung durch das Signal im Allgemeinen) + 13( SIGPIPE‚s spezifischen Signalnummer ) .

• Durch Design, aber Python selbst einfängtSIGPIPE und übersetzt sie in eine PythonIOError - Instanz mit errnoWert errno.EPIPE, so dass ein Python - Skript , um es zu fangen, wenn es so wählt - siehe Alex L. Antwort , wie das zu tun.

• Wenn ein Python- Skript es nicht abfängt , gibtIOError: [Errno 32] Broken pipe Python eine Fehlermeldung aus und beendet das Skript mit dem Exit-Code1 - dies ist das Symptom, das das OP gesehen hat.

• In vielen Fällen ist dies eher störend als hilfreich . Daher ist es wünschenswert, zum Standardverhalten zurückzukehren :

  • Die Verwendung des signalModuls ermöglicht genau das, wie in Akhans Antwort angegeben . signal.signal()nimmt ein Signal als erstes Argument und einen Handler als zweites; Der spezielle Handlerwert SIG_DFLrepräsentiert das Standardverhalten des Systems :

    from signal import signal, SIGPIPE, SIG_DFL
    signal(SIGPIPE, SIG_DFL) 

Ein "Broken Pipe" -Fehler tritt auf, wenn Sie versuchen, in eine Pipe zu schreiben, die am anderen Ende geschlossen wurde. Da der von Ihnen gezeigte Code keine Pipes direkt enthält, vermute ich, dass Sie etwas außerhalb von Python tun, um die Standardausgabe des Python-Interpreters an eine andere Stelle umzuleiten. Dies kann passieren, wenn Sie ein Skript wie das folgende ausführen:

python foo.py | someothercommand

Das Problem, das Sie haben, someothercommandist das Beenden, ohne alles zu lesen, was auf der Standardeingabe verfügbar ist. Dies führt dazu, dass Ihr Schreibvorgang (via print) irgendwann fehlschlägt.

Ich konnte den Fehler mit dem folgenden Befehl auf einem Linux-System reproduzieren:

python -c 'for i in range(1000): print i' | less

Wenn ich den lessPager schließe, ohne durch alle Eingaben (1000 Zeilen) zu scrollen, wird Python mit dem von IOErrorIhnen gemeldeten beendet.

Ich fühle mich verpflichtet darauf hinzuweisen, dass die Methode verwendet

signal(SIGPIPE, SIG_DFL) 

ist in der Tat gefährlich (wie bereits von David Bennet in den Kommentaren vorgeschlagen) und führte in meinem Fall in Kombination mit plattformabhängigen lustigen Geschäften multiprocessing.Manager(da die Standardbibliothek darauf beruht, dass BrokenPipeError an mehreren Stellen ausgelöst wird). Um es kurz und schmerzhaft zu machen: So habe ich es behoben:

Zuerst müssen Sie IOError(Python 2) oder BrokenPipeError(Python 3) fangen . Abhängig von Ihrem Programm können Sie versuchen, an diesem Punkt vorzeitig zu beenden oder die Ausnahme einfach zu ignorieren:

from errno import EPIPE

try:
    broken_pipe_exception = BrokenPipeError
except NameError:  # Python 2
    broken_pipe_exception = IOError

try:
    YOUR CODE GOES HERE
except broken_pipe_exception as exc:
    if broken_pipe_exception == IOError:
        if exc.errno != EPIPE:
            raise

Dies ist jedoch nicht genug. Python 3 druckt möglicherweise immer noch eine Nachricht wie folgt:

Exception ignored in: <_io.TextIOWrapper name='<stdout>' mode='w' encoding='UTF-8'>
BrokenPipeError: [Errno 32] Broken pipe

Leider ist es nicht einfach, diese Nachricht loszuwerden, aber ich habe schließlich http://bugs.python.org/issue11380 gefunden, wo Robert Collins diese Problemumgehung vorschlägt, mit der ich mich in einen Dekorateur verwandelt habe, mit dem Sie Ihre Hauptfunktion abschließen können (ja, das ist verrückt Vertiefung):

from functools import wraps
from sys import exit, stderr, stdout
from traceback import print_exc


def suppress_broken_pipe_msg(f):
    @wraps(f)
    def wrapper(*args, **kwargs):
        try:
            return f(*args, **kwargs)
        except SystemExit:
            raise
        except:
            print_exc()
            exit(1)
        finally:
            try:
                stdout.flush()
            finally:
                try:
                    stdout.close()
                finally:
                    try:
                        stderr.flush()
                    finally:
                        stderr.close()
    return wrapper


@suppress_broken_pipe_msg
def main():
    YOUR CODE GOES HERE

Ich weiß, dass dies nicht der "richtige" Weg ist, aber wenn Sie einfach daran interessiert sind, die Fehlermeldung zu beseitigen, können Sie diese Problemumgehung versuchen:

python your_python_code.py 2> /dev/null | other_command

Dies kann auch auftreten, wenn das Leseende der Ausgabe Ihres Skripts vorzeitig beendet wird

dh open.py | otherCommand

Wenn otherCommand beendet wird und open.py versucht, in stdout zu schreiben

Ich hatte ein schlechtes Gawk-Skript, das mir das sehr angetan hat.

Die Top-Antwort ( if e.errno == errno.EPIPE:) hier hat bei mir nicht wirklich funktioniert. Ich habe:

AttributeError: 'BrokenPipeError' object has no attribute 'EPIPE'

Dies sollte jedoch funktionieren, wenn Sie nur defekte Pipes bei bestimmten Schreibvorgängen ignorieren. Ich denke, es ist sicherer als SIGPIPE zu fangen:

try:
    # writing, flushing, whatever goes here
except BrokenPipeError:
    exit( 0 )

Sie müssen natürlich eine Entscheidung treffen, ob Ihr Code wirklich, wirklich fertig ist, wenn Sie auf die kaputte Pipe treffen, aber für die meisten Zwecke denke ich, dass dies normalerweise der Fall sein wird. (Vergessen Sie nicht, Dateihandles usw. zu schließen.)

Das Schließen sollte in umgekehrter Reihenfolge wie das Öffnen erfolgen.