Kann ich die Ausgabe einer Pipe duplizieren?

Nun, die Aufgabe ist einfach: Ein Teil meines Skripts muss sowohl md5- als auch sha1-Hashes berechnen. Die Eingabe ist eine Datei - eine große Datei - und Hashes müssen für eine spätere Ausgabekomposition in MD- und SH-Variablen eingefügt werden.

Während die verarbeiteten Dateien wirklich groß sind (Hunderte von GB), versuche ich, Daten nach dem Lesen mehrfach zu verwenden. Ich habe etwas gefunden, das als Prozesssubstitution bezeichnet wird und das ich auf die nächste Weise übernommen habe:

$ dd if=big.tgz 2>/dev/null |tee >(sha1sum ) > >(md5sum ) ;

anstatt:

$ SH=$(sha1sum big.tgz); MD=$(md5sum big.tgz);

Aber ich fand das nächste:

• Es gibt anscheinend keine Ressource und keine Zeitersparnis, da beide ungefähr benötigen. 40s (für 4,776 GB Datei)

• Ich habe keine Ahnung, wie das Ergebnis des Unterprozesses >(md5sum )in der Variablen MD gespeichert werden soll, um es später im Skript zu verwenden

Ich habe versucht, die Pipexec zu verstehen, aber selbst die schönen Farbabbildungen waren bis jetzt kein Erfolg.

Gibt es eine andere Möglichkeit, die Ausgabe auf eine Variable umzuleiten, als VAR = $ (Befehl)?

In Bezug auf die Leistung sind Sie möglicherweise durch die CPU eingeschränkt. Tatsächlich fühlen sich 4,7 TB in 40 Sekunden für MD5 und sha1sum schnell an. Also auch wenn Sie so arbeiten. Für das, was es wert ist, haben Sie reduzierte Festplatten-E / A.

Das brauchen Sie wirklich nicht dd. Sie können die Ausgabe von sha1sum und md5sum auch einfach zur späteren Verwendung direkt in eine Datei schreiben

tee < big.tgz  >(sha1sum > big.tgz.sha1 ) > >(md5sum > big.tgz.md5 )
sha1=`cat big.tgz.sha1`
md5=`cat big.tgz.md5`

Ich schlage vor, temporäre Dateien wie diese ( big.tgz.sha1und big.tgz.md5) zu verwenden, da es bei AFAIK nicht möglich ist, zwei Variablen gleichzeitig mit unterschiedlichen Werten festzulegen. Sie können eine direkt in eine Variable erfassen, aber nicht beide. Wenn Sie beide zulassen md5sumund gleichzeitig sha1sumauf dasselbe Standard schreiben, kann dies zu unvorhersehbaren Problemen führen.

Nun, Sie können einfach eine weitere Weiterleitung hinzufügen:

tee < big.tgz >(sha1sum > big.tgz.sha1sum) >(md5sum > big.tgz.md5sum)

Sie können die Ausgabe auch so nehmen, wie sie ist, da es einfach ist, zwischen sha1 und md5 zu unterscheiden (unterschiedliche Länge, damit keine Verwirrung darüber besteht, welche welche ist).

Es gibt auch Dienstprogramme, die mehrere Prüfsummen selbst berechnen, ohne mit durch Reifen zu springen tee.

Eigentlich kann das obige auch geschrieben werden ohne tee:

sha1sum big.tgz > big.tgz.sha1sum &
md5sum big.tgz > big.tgz.md5sum
wait # for sha1sum

Theoretisch ist dies schlecht, da Daten zweimal von der Festplatte gelesen werden.

In der Praxis sollte das parallele Ausführen beider Reader (& Hintergrund) es dem Festplatten-Cache ermöglichen, damit umzugehen, sodass Daten effektiv nur noch einmal gelesen werden. Dies setzt voraus, dass die Hash-Berechnung schnell und die E / A langsam ist, sodass kein Prozess vor dem anderen davonlaufen kann.

(Ich habe zuvor über das zweimalige Lesen in einem anderen Kontext hier geschrieben: Verwenden von pv mit md5sum - obwohl es normalerweise funktioniert, gibt es einige Risiken, daher teeist es immer noch die zuverlässigere Methode.)

parsetvon GNU Parallel dient zum parallelen Setzen von Variablen und --teeleitet die Eingabe an mehrere Befehle weiter:

parset md5,sha1,sha256 --pipe --tee {} ::: md5sum sha1sum sha256sum < bigfile
echo $sha1

parset sumarr --pipe --tee {} ::: md5sum sha1sum sha256sum < bigfile
echo ${sumarr[1]}