Ist es möglich, eine sehr große Datei (~ 30 GB) mit gzip zu komprimieren? Wenn ja, welche Befehle, Schalter und Optionen sollte ich verwenden?
Oder gibt es ein anderes Programm (vorzugsweise eines, das auf Ubuntu-Distributionen allgemein verfügbar ist), mit dem ich sehr große Dateien komprimieren / komprimieren kann? Hast du irgendwelche Erfahrungen damit?
Antworten:
AFAIK gibt es keine Größenbeschränkung für gzip- mindestens nicht 30GB. Natürlich benötigen Sie den Speicherplatz für die gezippte Datei auf Ihrer Disc. Beide Versionen werden beim Komprimieren gleichzeitig angezeigt.
bzip2 komprimiert Dateien (nicht nur große :-) besser, aber es ist (manchmal viel) langsamer.
pbzipauch - das wird mehr als einen CPU-Kern verwenden. Aber immer noch viel langsamer als gzip.
pbzip2
Wenn Sie eine gute Komprimierungsrate benötigen, können Sie lzma ausprobieren. es ist schneller und effizienter als bzip2 und möglicherweise sogar schneller als gzip (das weiß ich nicht genau)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmawird zu Gunsten von xzjetzt veraltet . Gleicher Algorithmus, etwas anderes (verbessertes?) Dateiformat. LZMA ist langsamer als gzip, aber bei maximaler Geschwindigkeit ist es immer noch eine ziemlich gute Komprimierung für hochredundante Inhalte wie JSON-Daten. ( xz -0)
Das gzip-Format repräsentiert die Eingabegröße modulo 2 ^ 32, daher
--listmeldet die Option falsche unkomprimierte Größen und Komprimierungsverhältnisse für unkomprimierte Dateien ab 4 GB.
Nehmen Sie also bzip2(v1.0.2 und höher) oder xz.
Wenn XZ auf niedrigste Komprimierung eingestellt ist, kann dies die Geschwindigkeit und Komprimierung von gzip übertreffen .
pxz -9ve - <in >out.xzund Sie werden ein Huhn auf Ihrem PC backen, aber das Ergebnis wird rund 60% des GZIP-Ergebnisses sein. Sie benötigen dafür ca. 7 GB.