Warum scheint tar Dateiinhalte zu überspringen, wenn die Ausgabedatei / dev / null ist?

Ich habe ein Verzeichnis mit über 400 GiB Daten. Ich wollte prüfen, ob alle Dateien fehlerfrei gelesen werden können, so dass eine einfache Art und Weise dachte ich, war tares in /dev/null. Stattdessen sehe ich folgendes Verhalten:

$ time tar cf /dev/null .

real    0m4.387s
user    0m3.462s
sys     0m0.185s
$ time tar cf - . > /dev/null

real    0m3.130s
user    0m3.091s
sys     0m0.035s
$ time tar cf - . | cat > /dev/null
^C

real    10m32.985s
user    0m1.942s
sys     0m33.764s

Der dritte obige Befehl wurde von Ctrl+ gewaltsam gestoppt, Cnachdem er schon ziemlich lange gelaufen war. Während die ersten beiden Befehle funktionierten, war die Aktivitätsanzeige des Speichergeräts, das sie enthielt, .fast immer inaktiv. Mit dem dritten Befehl leuchtet die Anzeige konstant und bedeutet extreme Betriebsamkeit.

Wenn also festgestellt werden kann, dass tares sich um eine Ausgabedatei handelt /dev/null, dh wenn sie /dev/nulldirekt geöffnet wird, um das tarDateihandle zu haben, in das geschrieben wird, wird der Dateikörper übersprungen. (Durch Hinzufügen der vOption zum tarDrucken werden alle Dateien im Verzeichnis tar"rot" gedruckt .)

Also frage ich mich, warum das so ist? Ist es eine Art Optimierung? Wenn ja, warum sollte dann tarüberhaupt eine so zweifelhafte Optimierung für einen solchen Sonderfall durchgeführt werden?

Ich verwende GNU tar 1.26 mit glibc 2.27 unter Linux 4.14.105 amd64.

Es ist eine dokumentierte Optimierung :

Wenn das Archiv erstellt wird /dev/null, versucht GNU tar, die Eingabe- und Ausgabeoperationen zu minimieren. Das Amanda-Backup-System hat, wenn es mit GNU tar verwendet wird, einen ersten Pass, der diese Funktion verwendet.

Dies kann mit einer Vielzahl von Programmen passieren, zum Beispiel hatte ich dieses Verhalten einmal, als ich es nur benutzte cp file /dev/null. Anstatt eine Schätzung meiner Lesegeschwindigkeit zu erhalten, kehrte der Befehl nach einigen Millisekunden zurück.

Soweit ich mich erinnere, war das unter Solaris oder AIX, aber das Prinzip gilt für alle Arten von Unix-y-Systemen.

In früheren Zeiten, als ein Programm eine Datei irgendwohin kopierte, wechselte es zwischen readAufrufen, die einige Daten von der Festplatte (oder was auch immer der Dateideskriptor bezeichnet) in den Speicher abriefen (mit der Garantie, dass bei readRückkehr alles vorhanden ist ) und writeAufrufen (Die nehmen den Teil des Speichers und senden den Inhalt an das Ziel).

Es gibt jedoch mindestens zwei neuere Methoden, um dasselbe zu erreichen:

• Linux hat Systemaufrufe copy_file_range(nicht portierbar für andere Unixe) und sendfile(etwas portierbar; ursprünglich zum Senden einer Datei an das Netzwerk gedacht, kann aber jetzt jedes Ziel verwenden). Sie sollen den Transfer optimieren. Wenn das Programm eines davon verwendet, ist es leicht vorstellbar, dass der Kernel das Ziel erkennt /dev/nullund den Systemaufruf in ein No-Op verwandelt

• Programme können verwenden mmap, um den Dateiinhalt abzurufen read. Dies bedeutet im Wesentlichen, dass die Daten vorhanden sind, wenn ich versuche, auf diesen Speicherblock zuzugreifen, und nicht, dass die Daten vorhanden sind, wenn der Systemaufruf zurückkehrt. Ein Programm kann also mmapdie Quelldatei und dann writediesen Teil des zugeordneten Speichers aufrufen . Da beim Schreiben /dev/nulljedoch nicht auf die geschriebenen Daten zugegriffen werden muss, wird die Bedingung "Vergewissern Sie sich, dass sie vorhanden sind" nie ausgelöst, sodass die Datei auch nicht gelesen wird.

Nicht sicher , ob Gnu Teer verwendet überhaupt, und das, diese beiden Mechanismen , wenn es erkennt es schriftlich /dev/null, aber sie sind der Grund , warum jedes Programm, wenn verwendet Lesegeschwindigkeiten zu überprüfen , sollte ausgeführt werden , | cat > /dev/nullstatt > /dev/null- und warum | cat > /dev/nullsollst wird vermieden in allen anderen Fällen.