Schalten Sie die Pufferung in der Leitung aus

Ich habe ein Skript, das zwei Befehle aufruft:

long_running_command | print_progress

Der long_running_commandAusdruck ist ein Fortschritt, aber ich bin unzufrieden damit. Ich verwende print_progress, um es schöner zu machen (nämlich, ich drucke den Fortschritt in einer einzigen Zeile).

Das Problem: Das Verbinden einer Pipe mit stdout aktiviert auch einen 4K-Puffer, an den das nette Druckprogramm nichts ... nichts ... nichts ... eine ganze Menge ... :)

Wie kann ich den 4K-Puffer für den deaktivieren long_running_command(nein, ich habe nicht die Quelle)?

Sie können den unbufferBefehl (der Bestandteil des expectPakets ist) verwenden, z

unbuffer long_running_command | print_progress

unbufferstellt long_running_commandüber ein Pseudoterminal (pty) eine Verbindung her, wodurch das System es als interaktiven Prozess behandelt und daher die 4-kiB-Pufferung in der Pipeline nicht verwendet, die die wahrscheinliche Ursache für die Verzögerung ist.

Bei längeren Pipelines müssen Sie möglicherweise jeden Befehl (mit Ausnahme des letzten) entpuffern, z

unbuffer x | unbuffer -p y | z

Eine andere Möglichkeit, diese Katze zu häuten, ist die Verwendung des stdbufProgramms, das Teil von GNU Coreutils ist (FreeBSD hat auch ein eigenes Programm).

stdbuf -i0 -o0 -e0 command

Dadurch wird die Pufferung für Eingabe, Ausgabe und Fehler vollständig deaktiviert. Für einige Anwendungen ist die Zeilenpufferung aus Leistungsgründen möglicherweise besser geeignet:

stdbuf -oL -eL command

_{Beachten Sie, dass es nur für das stdioPuffern ( printf(), fputs()...) von dynamisch verknüpften Anwendungen funktioniert, und nur, wenn diese Anwendung die Pufferung ihrer Standard-Streams ansonsten nicht selbst anpasst, obwohl dies die meisten Anwendungen abdecken sollte.}

Eine weitere Möglichkeit, den Ausgabemodus für die Zeilenpufferung zu aktivieren, long_running_commandbesteht darin, den scriptBefehl zu verwenden, mit dem Sie long_running_commandin einem Pseudoterminal (pty) ausgeführt werden.

script -q /dev/null long_running_command | print_progress      # FreeBSD, Mac OS X
script -c "long_running_command" /dev/null | print_progress    # Linux

Für grep, sedund awkSie können die Ausgabe zwangsweise zeilenweise puffern. Sie können verwenden:

grep --line-buffered

Erzwinge die Zeilenpufferung der Ausgabe. Standardmäßig wird die Ausgabe zeilenweise gepuffert, wenn es sich bei der Standardausgabe um eine Klemme handelt und die Ausgabe ansonsten blockweise gepuffert wird.

sed -u

Ausgabezeile gepuffert machen.

Weitere Informationen finden Sie auf dieser Seite: http://www.perkin.org.uk/posts/how-to-fix-stdio-buffering.html

Wenn es ein Problem mit der libc gibt, deren Pufferung / Leerung zu ändern, wenn die Ausgabe nicht an ein Terminal geht, sollten Sie socat ausprobieren . Sie können einen bidirektionalen Stream zwischen nahezu allen E / A-Mechanismen erstellen. Eines davon ist ein Forked-Programm, das mit einer Pseudotty spricht.

 socat EXEC:long_running_command,pty,ctty STDIO 

Was es tut, ist

• Erstellen Sie eine Pseudotty
• Fork long_running_command mit der Slave-Seite des Pty als stdin / stdout
• stelle einen bidirektionalen Stream zwischen der Masterseite des Pty und der zweiten Adresse her (hier ist es STDIO)

Wenn dies die gleiche Ausgabe ergibt wie long_running_command, können Sie mit einer Pipe fortfahren.

Edit: Wow Hab die Unbuffer-Antwort nicht gesehen! Nun, socat ist sowieso ein großartiges Werkzeug, also könnte ich diese Antwort einfach hinterlassen

Sie können verwenden

long_running_command 1>&2 |& print_progress

Das Problem ist, dass libc einen Zeilenpuffer erstellt, wenn stdout auf den Bildschirm zeigt, und einen vollständigen Puffer, wenn stdout auf eine Datei zeigt. Aber kein Puffer für stderr.

Ich glaube nicht, dass es das Problem mit dem Pipe-Buffer ist, es geht nur um die Buffer-Policy von libc.

Früher war und ist es wahrscheinlich immer noch so, dass beim Schreiben der Standardausgabe in ein Terminal standardmäßig eine Zeile gepuffert wird - beim Schreiben einer neuen Zeile wird die Zeile in das Terminal geschrieben. Wenn die Standardausgabe an eine Pipe gesendet wird, ist sie vollständig gepuffert. Daher werden die Daten nur dann an den nächsten Prozess in der Pipeline gesendet, wenn der Standard-E / A-Puffer gefüllt ist.

Das ist die Ursache des Problems. Ich bin mir nicht sicher, ob Sie viel tun können, um das Problem zu beheben, ohne das Programm zu ändern, das in die Pipe geschrieben wird. Sie können die setvbuf()Funktion mit dem _IOLBFFlag verwenden, um bedingungslos stdoutin den zeilengepufferten Modus zu wechseln. Aber ich sehe keine einfache Möglichkeit, dies in einem Programm durchzusetzen. Oder das Programm kann fflush()an geeigneten Punkten (nach jeder Ausgabezeile), aber der gleiche Kommentar gilt.

Ich nehme an, wenn Sie die Pipe durch ein Pseudo-Terminal ersetzen, würde die Standard-E / A-Bibliothek annehmen, dass die Ausgabe ein Terminal ist (da es sich um eine Art Terminal handelt) und den Zeilenpuffer automatisch ausführen. Das ist jedoch eine komplexe Art, mit Dingen umzugehen.

Ich weiß, dass dies eine alte Frage ist und bereits viele Antworten hatte, aber wenn Sie das Pufferproblem vermeiden möchten, versuchen Sie einfach Folgendes:

stdbuf -oL tail -f /var/log/messages | tee -a /home/your_user_here/logs.txt

Dadurch werden die Protokolle in Echtzeit ausgegeben und in der logs.txtDatei gespeichert, und der Puffer hat keine Auswirkungen mehr auf den tail -fBefehl.

Ich glaube nicht, dass das Problem bei der Pfeife liegt. Es hört sich so an, als würde Ihr langer Prozess seinen eigenen Puffer nicht häufig genug leeren. Das Ändern der Puffergröße der Pipe wäre ein Hack, um das Problem zu umgehen, aber ich denke nicht, dass dies möglich ist, ohne den Kernel neu zu erstellen - etwas, das Sie nicht als Hack tun möchten, da es wahrscheinlich viele andere Prozesse in Mitleidenschaft zieht.

In diesem Beitrag können Sie versuchen, das Pipe-Ulimit auf einen einzelnen 512-Byte-Block zu reduzieren. Zwar wird die Pufferung nicht ausgeschaltet, aber 512 Bytes sind weit weniger als 4K: 3

Ähnlich wie bei der Antwort von Chad können Sie ein kleines Skript wie das folgende schreiben:

# save as ~/bin/scriptee, or so
script -q /dev/null sh -c 'exec cat > /dev/null'

Verwenden Sie dann diesen scripteeBefehl als Ersatz für tee.

my-long-running-command | scriptee

Leider scheint es mir nicht möglich zu sein, dass eine solche Version unter Linux einwandfrei funktioniert, daher scheint sie auf BSD-Unixe beschränkt zu sein.

Unter Linux ist dies nicht weit entfernt, aber Sie erhalten Ihre Eingabeaufforderung nicht zurück, wenn dies abgeschlossen ist (bis Sie die Eingabetaste usw. drücken) ...

script -q -c 'cat > /proc/self/fd/1' /dev/null

Ich habe diese clevere Lösung gefunden: (echo -e "cmd 1\ncmd 2" && cat) | ./shell_executable

Das macht den Trick. catliest zusätzliche Eingaben (bis EOF) und übergibt diese an die Pipe, nachdem die echoArgumente in den Eingabestream von eingegeben wurden shell_executable.

Nach dieser scheint die Rohrpuffergröße in dem Kernel gesetzt zu werden und würde verlangen , dass Sie Ihren Kernel neu kompilieren zu ändern.