Wie dekomprimiere ich zlib-Daten unter UNIX?

Ich habe zlib-komprimierte Daten in Python wie folgt erstellt:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(oder ein Liner in der Schale: echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Jetzt möchte ich die Daten in der Shell dekomprimieren. Weder zcatnoch uncompressArbeit:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Es scheint, dass ich eine gzip-ähnliche Datei erstellt habe, aber ohne Header. Leider sehe ich keine Möglichkeit, solche Rohdaten in der gzip-Manpage zu dekomprimieren, und das zlib-Paket enthält kein ausführbares Dienstprogramm.

Gibt es ein Dienstprogramm zum Dekomprimieren von ZLIB-Rohdaten?

Es ist auch möglich, es mit Standard- Shell-Skript + gzip zu dekomprimieren , wenn Sie nicht über OpenSSL oder andere Tools verfügen oder diese verwenden möchten .
Der Trick besteht darin, die magische gzip-Zahl und die Komprimierungsmethode vor die eigentlichen Daten von zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Bearbeitungen:
@ d0sboots kommentiert: Für RAW-Deflate-Daten müssen Sie 2 weitere Nullbytes hinzufügen:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

Dieses Q on SO enthält weitere Informationen zu diesem Ansatz. Eine Antwort darauf deutet darauf hin, dass es auch eine 8-Byte-Fußzeile gibt.

Die Benutzer @ Vitali-Kushner und @ mark-bessey meldeten auch bei abgeschnittenen Dateien Erfolge, sodass eine GZIP-Fußzeile nicht unbedingt erforderlich zu sein scheint.

@ tobias-kienzler schlug diese funktion für den bashrc vor :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

User @tino hat unter der OpenSSL-Antwort einen Kommentar abgegeben, aber ich denke, das sollte separat sein:

zlib-flate -uncompress < FILE

Ich habe es versucht und es hat bei mir funktioniert.

zlib-flatekann im Paket gefunden werden qpdf(in Debian Squeeze und Fedora 23, laut Kommentaren in anderen Antworten)

Ich habe eine Lösung gefunden (eine der möglichen), die openssl verwendet :

$ openssl zlib -d < /tmp/data

oder

$ openssl zlib -d -in /tmp/data

* HINWEIS: Die zlib-Funktionalität ist anscheinend in neueren openssl-Versionen> = 1.0.0 verfügbar (OpenSSL muss mit der Option zlib oder zlib-dynamic konfiguriert / erstellt werden, letztere ist Standard).

Ich empfehle pigz von mark adler , mitautor der zlib compression library. Ausführen pigz, um die verfügbaren Flags anzuzeigen.

Du wirst bemerken:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Sie können mit dem -dFlag dekomprimieren :

-d --decompress --uncompress Decompress the compressed input.

Angenommen, eine Datei mit dem Namen 'test':

• pigz -z test - Erstellt eine zlib-komprimierte Datei mit dem Namen test.zz
• pigz -d -z test.zz - konvertiert test.zz in die dekomprimierte Testdatei

Unter OSX können Sie ausführen brew install pigz

zlibImplementiert die von gzip verwendete Komprimierung, jedoch nicht das Dateiformat. Verwenden Sie stattdessen das gzipModul , das selbst verwendet wird zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Das könnte es tun:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Dann führe es so aus:

$ python expander.py data/*

Das zpipe.c hier von Mark Adler selbst gefundene Beispielprogramm (das mit der Quelldistribution der zlib-Bibliothek geliefert wird) ist für diese Szenarien mit rohen zlib-Daten sehr nützlich. Kompilieren Sie mit cc -o zpipe zpipe.c -lzund dekomprimieren: zpipe -d < raw.zlib > decompressed. Die Komprimierung kann auch ohne das -dFlag erfolgen.

Unter macOS, einem vollständig POSIX-kompatiblen UNIX (formal zertifiziert!), OpenSSLGibt es keine zlibUnterstützung, zlib-flateund während die erste Lösung ebenso wie alle Python-Lösungen funktioniert, müssen sich die ZIP-Daten in einer Datei befinden und alle anderen Lösungen zwingen Sie, ein Python-Skript zu erstellen.

Hier ist eine Perl-basierte Lösung, die als einzeilige Befehlszeile verwendet werden kann, deren Eingabe über die STDIN-Pipe erfolgt und die mit einem frisch installierten MacOS sofort funktioniert:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

Schöner formatiert sieht das Perl-Skript so aus:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Sie können dies verwenden, um mit zlib zu komprimieren:

openssl enc -z -none -e < /file/to/deflate

Und dies zu entleeren:

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

funktioniert bei mir auf fedora25