Schnellste Methode zum Ermitteln der unkomprimierten Größe einer großen GZIPPED-Datei

Wenn eine Datei komprimiert ist, können Sie sie schnell abfragen, um die Größe der nicht komprimierten Datei zu bestimmen (ohne sie zu dekomprimieren), insbesondere in Fällen, in denen die Größe der nicht komprimierten Datei> 4 GB ist.

Laut dem RFC https://tools.ietf.org/html/rfc1952#page-5 können Sie die letzten 4 Bytes der Datei abfragen, aber wenn die unkomprimierte Datei> 4 GB war, dann stellt der Wert nur das daruncompressed value modulo 2^32

Dieser Wert kann auch durch Ausführen gunzip -l foo.gzdes Befehls abgerufen werden. Die Spalte "unkomprimiert" enthält jedoch nur einen neuen Wert uncompressed value modulo 2^32, vermutlich, wenn die Fußzeile wie oben beschrieben gelesen wird.

Ich habe mich nur gefragt, ob es eine Möglichkeit gibt, die unkomprimierte Dateigröße zu ermitteln, ohne sie zuerst dekomprimieren zu müssen. Dies ist besonders nützlich, wenn komprimierte Dateien mehr als 50 GB Daten enthalten und die Dekomprimierung mit Methoden wie gzcat foo.gz | wc -c

BEARBEITEN: Die Beschränkung von 4 GB wird auf der manSeite des in gzipOSX ( Apple gzip 242) enthaltenen Dienstprogramms offen anerkannt.

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

Ich glaube, der schnellste Weg ist zu ändern, gzipso dass das Testen im ausführlichen Modus die Anzahl der dekomprimierten Bytes ausgibt; Auf meinem System erhalte ich mit einer 7761108684-Byte-Datei

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

Um gzip (1.6, wie in Debian verfügbar) zu ändern, ist der Patch wie folgt:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

Wenn Sie die Größe einer komprimierten Datei oder Gruppe von Dateien benötigen, die beste Wahl zu verwenden ist tar -zoder tar -jstatt gzipwie tarbeinhaltet die unkomprimierte Dateien Größe. Hier können Sie lesspipedie Liste der Dateien einsehen:

aptitude install lesspipe
lesspipe <compressed file> | less

Wenn lesskonfiguriert ist zu verwenden lesspipe:

less <compressed file>

Bedenken Sie jedoch, dass dies sehr lange dauern kann. Ihr System reagiert jedoch weiterhin, sodass Sie den Dekomprimierungsprozess beenden können.

Ein anderer Ansatz wäre, das komprimierte Verhältnis zu protokollieren und stattdessen diese [Text] -Datei abzufragen:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

Es ist jedoch eine Berechnung erforderlich, um die tatsächliche Dateigröße zu ermitteln.

Sie können auch das Gleiche tun tar, was ich auch mit großen Backups mache, da dies verhindert, dass der gesamte Dekomprimierungsprozess ausgeführt wird, um beispielsweise nur eine Dateigröße oder einen Dateinamen zu erhalten.

Wie wäre es mit

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

Dies dauert sehr lange, gibt Ihnen jedoch die endgültige Größe in Byte.