Wie kann man mit einem Befehlszeilentool DEFLIEREN, um ein Git-Objekt zu extrahieren?

Ich suche einen Befehlszeilen-Wrapper für den DEFLATE-Algorithmus.

Ich habe eine Datei (Git Blob), die mit DEFLATE komprimiert wurde, und ich möchte sie dekomprimieren. Der Befehl gzip scheint keine Option zur direkten Verwendung des DEFLATE-Algorithmus anstelle des gzip-Formats zu haben.

Idealerweise suche ich ein Standard-Unix / Linux-Tool, das dies kann.

edit: Dies ist die Ausgabe, die ich bekomme, wenn ich versuche, gzip für mein Problem zu verwenden:

$ cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip

gzip: stdin: not in gzip format

UPDATE: Mark Adler bemerkte, dass Git-Blobs keine rohen DEFLATE-Streams sind, sondern Zlib-Streams. Diese können mit dem pigzTool entpackt werden , das in mehreren Linux-Distributionen vorinstalliert ist:

$ cat foo.txt 
file foo.txt!

$ git ls-files -s foo.txt
100644 7a79fc625cac65001fb127f468847ab93b5f8b19 0   foo.txt

$ pigz -d < .git/objects/7a/79fc625cac65001fb127f468847ab93b5f8b19 
blob 14file foo.txt!

Bearbeiten von kriegaex: Git Bash für Windows-Benutzer werden feststellen, dass pigz standardmäßig nicht verfügbar ist. Vorkompilierte 32/64-Bit-Versionen finden Sie hier . Ich habe die 64-Bit-Version ausprobiert und sie funktioniert gut. Sie können beispielsweise pigz.exe direkt nach kopieren c:\Program Files\Git\usr\bin, um es auf den Pfad zu setzen.

Meine ursprüngliche Antwort aus historischen Gründen:

Wenn ich den Hinweis in der verstehe von Marc van Kempen erwähnten Wikipedia-Artikel , können Sie ihn direkt puff.cvon zlib verwenden .

Dies ist ein kleines Beispiel:

#include <assert.h>
#include <string.h>
#include "puff.h"

int main( int argc, char **argv ) {
    unsigned char dest[ 5 ];
    unsigned long destlen = 4;
    const unsigned char *source = "\x4B\x2C\x4E\x49\x03\x00";
    unsigned long sourcelen = 6;    
    assert( puff( dest, &destlen, source, &sourcelen ) == 0 );
    dest[ 4 ] = '\0';
    assert( strcmp( dest, "asdf" ) == 0 );
}

So etwas wie das Folgende druckt den Rohinhalt, einschließlich des Headers "$ type $ length \ 0":

perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)' \
     < .git/objects/27/de0a1dd5a89a94990618632967a1c86a82d577

Sie können dies mit dem OpenSSL-Befehlszeilentool tun:

openssl zlib -d < $IN > $OUT

Leider ist der zlibUnterbefehl zumindest unter Ubuntu in der Standard-Build-Konfiguration ( --no-zlib --no-zlib-dynamic) deaktiviert , sodass Sie ihn opensslaus dem Quellcode kompilieren müssen, um ihn verwenden zu können. Es ist jedoch beispielsweise in Arch standardmäßig aktiviert.

Bearbeiten: Scheint, als würde der zlibBefehl auch auf Arch nicht mehr unterstützt. Diese Antwort ist möglicherweise nicht mehr nützlich :(

pythonischer Einzeiler:

$> python -c "import zlib,sys;print \
           repr(zlib.decompress(sys.stdin.read()))" < $IN

Sie können zlib-flate wie folgt verwenden:

cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 \
    | zlib-flate -uncompress; echo

Es ist standardmäßig auf meinem Computer vorhanden, aber es ist Teil von qpdf - tools for and transforming and inspecting PDF files wenn Sie es installieren müssen.

Ich habe echoam Ende des Befehls eine angezeigt , da es einfacher ist, die Ausgabe auf diese Weise zu lesen.

Versuchen Sie den folgenden Befehl:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" | cat - .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip

Es werden keine externen Tools benötigt.

^{Quelle: Wie dekomprimiere ich zlib-Daten unter UNIX? bei unix SE}

Hier ist ein Ruby-Einzeiler (cd .git / first und Pfad zu einem beliebigen Objekt identifizieren):

ruby -rzlib -e 'print Zlib::Inflate.new.inflate(STDIN.read)' < ./74/c757240ec596063af8cd273ebd9f67073e1208

Ich habe es satt, keine gute Lösung dafür zu haben, also habe ich etwas auf NPM gesetzt:

https://github.com/jezell/zlibber

Jetzt kann nur noch ein Befehl zum Aufblasen / Entleeren geleitet werden.

Hier ist ein Beispiel für das Aufbrechen eines Commit-Objekts in Python:

$ git show
commit 0972d7651ff85bedf464fba868c2ef434543916a
# all the junk in my commit...
$ python
>>> import zlib
>>> file = open(".git/objects/09/72d7651ff85bedf464fba868c2ef434543916a")
>>> data = file.read()
>>> print data
# binary garbage
>>> unzipped_data = zlib.decompress(data)
>>> print unzipped_data
# all the junk in my commit!

Was Sie dort sehen werden, ist fast identisch mit der Ausgabe von 'git cat-file -p [hash]', außer dass dieser Befehl den Header nicht druckt ('commit' gefolgt von der Größe des Inhalts und einem Null-Byte).

Es sieht so aus, als hätte Mark Adler uns im Sinn und ein Beispiel dafür geschrieben: http://www.zlib.net/zpipe.c

Es wird nur mit kompiliert gcc -lzund die zlib-Header installiert. Ich habe die resultierende Binärdatei auf meine kopiert, /usr/local/bin/zpipewährend ich mit Git-Sachen gearbeitet habe.

Git-Objekte werden zlibeher durch als komprimiert gzip, also entweder zlibzum Dekomprimieren oder mit dem Befehl git, dh git cat-file -p <SHA1>zum Drucken von Inhalten.

// save this as deflate.go

package main

import (
    "compress/zlib"
    "io"
    "os"
    "flag"
)

var infile = flag.String("f", "", "infile")

func main() {
    flag.Parse()
    file, _ := os.Open(*infile)

    r, err := zlib.NewReader(file)
    if err != nil {
        panic(err)
    }
    io.Copy(os.Stdout, r)

    r.Close()
}

$ go build deflate.go
$ ./deflate -f .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7

Siehe http://en.wikipedia.org/wiki/DEFLATE#Encoder_implementations

Es listet eine Reihe von Software-Implementierungen auf, einschließlich gzip, damit dies funktioniert. Haben Sie versucht, nur gzip für die Datei auszuführen? Erkennt es das Format nicht automatisch?

Woher wissen Sie, dass es mit DEFLATE komprimiert wird? Mit welchem ​​Tool wurde die Datei komprimiert?

Warum verwenden Sie nicht einfach die Tools von git, um auf die Daten zuzugreifen? Dies sollte in der Lage sein, jedes Git-Objekt zu lesen:

git show --pretty=raw <object SHA-1>

Ich fand diese Frage auf der Suche nach einer Problemumgehung mit einem Fehler im -textDienstprogramm in der neuen Version des hadoop dfsClients, den ich gerade installiert habe. Das -textDienstprogramm funktioniert wiecat folgt: Wenn die gelesene Datei komprimiert ist, wird der Klartext (daher der Name) transparent dekomprimiert und ausgegeben.

Die bereits veröffentlichten Antworten waren auf jeden Fall hilfreich, aber einige von ihnen haben ein Problem beim Umgang mit Datenmengen in Hadoop-Größe: Sie lesen alles vor dem Dekomprimieren in den Speicher.

Also, hier sind meine Variationen der Perlund PythonAntworten oben, die diese Einschränkung nicht haben:

Python:

hadoop fs -cat /path/to/example.deflate |
  python -c 'import zlib,sys;map(lambda b:sys.stdout.write(zlib.decompress(b)),iter(lambda:sys.stdin.read(4096),""))'

Perl:

hadoop fs -cat /path/to/example.deflate |
  perl -MCompress::Zlib -e 'print uncompress($buf) while sysread(STDIN,$buf,4096)'

Beachten Sie die Verwendung des -catUnterbefehls anstelle von -text. Dies ist so, dass meine Problemumgehung nicht unterbrochen wird, nachdem der Fehler behoben wurde. Entschuldigung für die Lesbarkeit der Python-Version.

Git-Objekte sind Zlib-Streams (keine Rohdaten). pigz dekomprimiert diejenigen mit der -dzOption.

Um die Sammlung zu erweitern, finden Sie hier Perl-Einzeiler für Deflate / Inflate / Raw Deflate / Raw Inflate.

Entleeren

perl -MIO::Compress::Deflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Compress::Deflate::deflate(\$in, \$out); print $out;'

Aufblasen

perl -MIO::Uncompress::Inflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Uncompress::Inflate::inflate(\$in, \$out); print $out;'

Rohe Entleerung

perl -MIO::Compress::RawDeflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Compress::RawDeflate::rawdeflate(\$in, \$out); print $out;'

Rohes Aufblasen

perl -MIO::Uncompress::RawInflate -e 'undef $/; my ($in, $out) = (<>, undef); IO::Uncompress::RawInflate::rawinflate(\$in, \$out); print $out;'

pigz kann es:

apt-get install pigz
unpigz -c .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7

const zlib = require("zlib");
const adler32 = require("adler32");
const data = "hello world~!";
const chksum = adler32.sum(new Buffer(data)).toString(16);
console.log("789c",zlib.deflateRawSync(data).toString("hex"),chksum);
// or
console.log(zlib.deflateSync(data).toString("hex"));