Gzip-Dateien effizient in bzip2 konvertieren

Ich habe eine Reihe von gzip-Dateien, die ich ab und zu in bzip2 konvertieren muss. Derzeit verwende ich ein Shell-Skript, das einfach jede Datei "gunzip" und dann "bzip2" verwendet. Obwohl dies funktioniert, dauert es eine Menge Zeit , um vollständig.

Ist es möglich, diesen Prozess effizienter zu gestalten? Ich bin bereit, einen Tauchgang zu machen und bei Bedarf die Quellcodes von gunzip und bzip2 zu untersuchen, aber ich möchte nur sicher sein, dass sich das auszahlt. Gibt es Hoffnung, die Effizienz des Prozesses zu verbessern?

Diese Frage wurde vor langer Zeit gestellt, als pbzip2 entweder nicht verfügbar war oder nicht von stdin komprimiert werden konnte. Sie können jetzt jedoch sowohl das Dekomprimieren als auch das Komprimieren von Schritten mit parallel und pbzip2 (anstelle von bzip2 ) parallelisieren :

ls *.gz | parallel "gunzip -c {} | pbzip2 -c > {.}.bz2"

Das ist deutlich schneller als mit bzip2 .

Anstatt gunzip in einem Schritt und bzip2 in einem anderen, frage ich mich, ob es vielleicht effizienter wäre, Pipes zu verwenden. Etwas wiegunzip --to-stdout foo.gz | bzip2 > foo.bz2

Ich denke mit zwei oder mehr CPUs wäre dies definitiv schneller. Aber vielleicht sogar mit nur einem Kern. Ich gebe schändlicherweise zu, dies nicht ausprobiert zu haben.

GNU parallel ( http://www.gnu.org/software/parallel ) kann eine Option sein, wenn Sie mehrere Kerne (oder sogar mehrere Computer) haben:

ls *.gz | parallel "gunzip -c {} | bzip2 > {.}.bz2"

Lesen Sie das Tutorial / die Manpage für Details und Optionen.

Was Sie gerade tun, ist Ihre beste Wahl. Es ist kein Konvertierungstool verfügbar, und der Versuch, eine bereits komprimierte Datei zu bzip2, ist keine Option, da dies häufig unerwünschte Auswirkungen hat. Da der Algorithmus unterschiedlich ist, würde das Konvertieren das Abrufen der Originaldaten unabhängig davon beinhalten. Es sei denn natürlich, GZIP war ein Schritt im bzip2-Prozess, in dem dies leider nicht der Fall ist.

Gelegentlich muss ich dasselbe mit Protokolldateien tun. Ich beginne mit den kleinsten * .gz-Dateien zuerst ( ls -rS), gunzip und dann und bzip2 sie einzeln. Ich weiß nicht, ob es möglich ist, die gunzip-Ausgabe direkt auf die bzip2-Eingabe zu lenken. Der Befehl bzip2 ist beim Komprimieren so viel langsamer als der Befehl gunzip beim Dekomprimieren, dass er möglicherweise den Speicher belegt und Speicherplatz auf dem Host austauscht.

Verbesserungen oder Vorschläge sind willkommen. Hier ist mein Einzeiler:

for i in $(ls -rS *.gz | sed 's/\.gz//'); do gunzip ${i}.gz; bzip2 -9 ${i}; done

Wenn Sie mehr als ein paar haben, lesen Sie den LJ-Artikel mit einem schönen Shell-Skript.

http://linuxgazette.net/123/bechtel.html

7zip erhält eine bessere Komprimierung und ist multithreaded.

Musste das erst vor ein paar Minuten machen:

find . -name "*.gz" | perl -pi -e 's/\.gz$//g;' | xargs -n1 ./rezip

Wo rezipwürde definiert werden als:

#!/bin/bash
gunzip -v $1.gz && bzip2 -9v $1

Optional können Sie es auch mithilfe einer -POption mit Multithreading xargserstellen, aber seien Sie vorsichtig mit dieser Option . (Fangen Sie niedrig an!)