Virtuelles schreibgeschütztes Dateisystem zum Speichern von Dateien im Archiv

Ich habe einen peinlich parallelen Prozess, der eine große Menge nahezu (aber nicht vollständig) identischer Dateien erstellt. Gibt es eine Möglichkeit, die Dateien "on the fly" zu archivieren, damit die Daten nicht mehr Speicherplatz als nötig beanspruchen?

Der Prozess selbst akzeptiert Befehlszeilenparameter und druckt den Namen jeder in stdout erstellten Datei. Ich rufe es auf, mit parallel --gnudem die Eingabe (die aus einem anderen Prozess stammt) verteilt und die Ausgabe gesammelt wird:

arg_generating_process | parallel --gnu my_process | magic_otf_compressor

EINFACHES BEISPIEL für den ersten Teil des Rohrs in bash:

for ((f = 0; $f < 100000; f++)); do touch $f; echo $f; done

Wie könnte das magic_otf_compressoraussehen? Es soll jede Eingabezeile als Dateinamen behandeln, jede Datei in ein komprimiertes .tarArchiv kopieren (dasselbe Archiv für alle verarbeiteten Dateien!) Und es dann löschen. (Eigentlich sollte es ausreichen, den Namen jeder verarbeiteten Datei zu drucken, ein anderer | parallel --gnu rmkönnte sich um das Löschen der Dateien kümmern.)

Gibt es ein solches Werkzeug? Ich denke nicht daran, jede Datei einzeln zu komprimieren, dies würde viel zu viel Speicherplatz verschwenden. Ich habe nachgesehen archivemount(wird das Dateisystem im Speicher halten -> unmöglich, meine Dateien sind zu groß und zu viele) und avfs(konnte es nicht dazu bringen, mit FUSE zusammenzuarbeiten). Was habe ich vermisst?

Ich bin nur einen Schritt davon entfernt, ein solches Tool selbst zu hacken, aber jemand muss es schon einmal getan haben ...

EDIT : Im Wesentlichen denke ich, dass ich nach einem Standard-Front-End suche libtar(im Gegensatz zum Befehlszeilen-Front-End tar, das Argumente aus der Befehlszeile liest).

Es scheint tar, dass es alle Dateinamen im Voraus wissen möchte. Es ist also weniger on-the-fly und mehr after-the-fly. cpioscheint dieses Problem nicht zu haben:

| cpio -vo 2>&1 > >(gzip > /tmp/arc.cpio.gz) | parallel rm

Ein klassischer Fall von RTFM (alles!) . Die -TOption für GNU tarliest die zu archivierenden Dateien aus einer anderen Datei (in meinem Fall /dev/stdinkönnen Sie sie auch verwenden -), und es gibt sogar eine --remove-filesOption:

alias magic_otf_compressor='tar --create -T - --remove-files -O | pixz'

(Verwenden Sie die parallele Version von xzfür die Komprimierung, aber Sie können stattdessen Ihren bevorzugten Kompressor verwenden). Zu verwenden als:

arg_generating_process |
  parallel --gnu my_process |
  magic_otf_compressor > file.tar.xz

EDIT : Wie Ole betont, tarscheint -Taus irgendeinem Grund die gesamte Liste der Dateien mit der Option zu lesen . Der folgende Test bestätigt dies:

for ((f = 0; $f < 1000; f++)); do
    touch $f; echo $f;
done | tar -c -f otf.tar -T - -v

Auf meinem System gibt es eine Verzögerung von einer Sekunde, bevor alle Dateien gleichzeitig gedruckt werden. Wenn der tarBefehl dagegen durch ersetzt wird cat, werden alle Dateien beim Erstellen gedruckt. Ich habe eine Supportanfrage bei den Teerleuten gestellt, mal sehen.

EDIT ^ 2 : Das neueste taraus der Quelle behebt dies. Es ist noch nicht in Ubuntu 13.10 enthalten, könnte aber in 14.04 enthalten sein.

Irgendwie scheint dies für einen soliden Kompressor (bandbasierte Archivierer + Komprimierung) kein guter Job zu sein. Das Einfügen von Dateien nacheinander sieht aus wie ein Job für zipoder ein anderes Format, das den zufälligen Dateizugriff innerhalb des Archivs und das inkrementelle Einfügen ermöglicht.

Die Tatsache, dass die Dateien ähnlich sind, hilft in beiden Fällen nicht viel. In zipwerden Dateien separat komprimiert, und in festen Kompressoren gibt es normalerweise ein Fenster, in dem die Komprimierung stattfindet.

Wenn die Dateien textbasiert sind, können Sie Unterschiede im Vergleich zu einer einzelnen Referenzdatei speichern. Für Binärdateien ist es etwas kniffliger, kann aber durchgeführt werden.

Es gibt auch einen formalen Weg (nicht nur Schreiben, sondern richtige Dateisysteme). Beispielsweise bieten ZFS- und BTRFS-Dateisysteme eine transparente Komprimierung. Sie können auch diese http://developer.berlios.de/projects/fusecompress verwenden

Es mag nicht offensichtlich erscheinen, aber ich wette, es squashfswäre perfekt dafür - und es ist sogar im Kernel implementiert. Seit der Version 4.1 squashfsverarbeiten kann Pseudo-Dateien wie auf dem angegebene mksquashBefehlszeile oder über einen Shell-Skript und mksquashfsdie Dateien erzeugt , wie es das Archiv erstellt.

Es kann Rohre verarbeiten - zum Beispiel können Sie einen anderen Prozess stdoutin einem montierbaren Squash-Archiv erfassen - sogar Fifos - es ist ziemlich cool. In Ihrem Fall, wenn Sie das Skript Logistik erarbeiten könnte Ihr Prozess der Ausgabe durch von Rohrleitungen, könnten Sie Ihren Prozess wickeln ganz in mksquashfsund mit einem einzigen Archiv aufzuwickeln. Hier ist ein bisschen von der readmeFunktionsweise und hier gibt es noch mehr :

Mksquashfs 4.1 bietet Unterstützung für "dynamische Pseudodateien" und eine Änderungsoperation. Mit dynamischen Pseudodateien können Dateien dynamisch erstellt werden, wenn Mksquashfs ausgeführt wird. Ihr Inhalt ist das Ergebnis der Ausführung eines Befehls oder eines Shell-Skripts. Mit der Änderungsoperation kann der Modus / uid / gid einer vorhandenen Datei im Quelldateisystem geändert werden.

Beispiele für dynamische Dateien erstellen

Erstellen Sie eine Datei "dmesg", die die Ausgabe von dmesg enthält.

    dmesg f 444 root root dmesg

Erstellen Sie eine Datei RELEASE mit dem Versionsnamen, dem Datum, dem Build-Host und einer inkrementellen Versionsnummer. Die inkrementelle Version ist ein Nebeneffekt bei der Ausführung des Shell-Skripts und stellt sicher, dass bei jeder Ausführung von Mksquashfs eine neue Versionsnummer verwendet wird, ohne dass ein anderes Shell-Skript erforderlich ist.

    RELEASE f 444 root root \
        if [ ! -e /tmp/ver ]; then \
        echo 0 > /tmp/ver; \
        fi; \
        ver=`cat /tmp/ver`; \
            ver=$((ver +1)); \
            echo $ver > /tmp/ver; \
            echo -n "release x.x"; \
            echo "-dev #"$ver `date` "Build host" `hostname`

Kopieren Sie 10 KB vom Gerät / dev / sda1 in die Dateieingabe. Normalerweise platziert Mksquashfs bei einem Gerät, einem FIFO oder einem benannten Socket diese spezielle Datei im Squashfs-Dateisystem. Dadurch können Eingaben aus diesen speziellen Dateien erfasst und im Squashfs-Dateisystem abgelegt werden.

        input f 444 root root dd if=/dev/sda1 bs=1024 count=10