Ich versuche, Platz zu sparen, während ich ein "dummes" Backup mache, indem ich einfach Daten in eine Textdatei kopiere. Mein Backup-Skript wird täglich ausgeführt und sieht folgendermaßen aus:

1. Erstellen Sie ein Verzeichnis, das nach dem Sicherungsdatum benannt ist.
2. Speichern Sie einige Daten in einer Textdatei "$name".
3. Wenn die Datei gültig ist, gzip sie : gzip "$name". Ansonsten , rm "$name".

Jetzt möchte ich einen zusätzlichen Schritt hinzufügen, um eine Datei zu entfernen, wenn dieselben Daten auch am Vortag verfügbar waren (und Symlink oder Hardlink erstellen).

Zuerst habe ich überlegt md5sum "$name", aber das funktioniert nicht, weil ich auch den Dateinamen und das Erstellungsdatum speichere.

Gibt gzipes eine Option, um zwei komprimierte Dateien zu vergleichen und mir zu sagen, ob sie gleich sind oder nicht? Wenn gzipes keine solche Option gibt, gibt es einen anderen Weg, um mein Ziel zu erreichen?

Sie können zcmpoder zdiffwie mreithub in seinem Kommentar vorschlägt (oder Kevins Befehl, der ähnlich ist) verwenden. Diese sind relativ ineffizient, da sie beide Dateien tatsächlich dekomprimieren und dann an cmpoder weitergeben diff. Wenn Sie nur antworten möchten, ob sie gleich sind, möchten Sie, dass cmpes viel schneller geht.

Ihr Ansatz mit dem md5sumist vollkommen gut, aber Sie müssen den MD5 nehmen, bevor Sie laufen gzip. Speichern Sie es dann in einer Datei neben der resultierenden .gzDatei. Sie können die Datei dann einfach vergleichen, bevor Sie sie komprimieren. Wenn der Name derselbe ist, md5sum -cerledigen Sie dies für Sie.

$ mkdir "backup1"
$ cd backup1
$ echo "test" > backup-file
$ md5sum backup-file > backup-file.md5
$ gzip -9 backup-file

Und das nächste Backup:

$ mkdir "backup2"
$ cd backup2
$ echo "test" > backup-file
$ md5sum -c ../backup1/backup-file.md5 
backup-file: OK

Es hat sich also nicht geändert. OTOH, hatte es sich geändert:

$ echo "different" > backup-file
$ md5sum -c ../backup1/backup-file.md5 
backup-file: FAILED
md5sum: WARNING: 1 computed checksum did NOT match

Wenn Sie --quietes übergeben, erhalten Sie nur den Exit-Code. 0 für übereinstimmend, nicht 0 für unterschiedlich.

MD5 ist ziemlich schnell, aber nicht besonders schnell. MD4 ( openssl md4ist das Beste, was Sie in der Befehlszeile erhalten, glaube ich) ist ungefähr doppelt so schnell (weder es noch MD5 sind sicher, aber beide sind ungefähr so ​​kollisionssicher, wenn niemand versucht, sie zu untergraben). SHA-1 ( sha1sum) ist sicherer, aber langsamer. SHA-256 ( sha256sum) ist sicher, aber noch langsamer. CRC32 sollte um ein Vielfaches schneller sein, ist jedoch kürzer und weist daher mehr zufällige Kollisionen auf. Es ist auch völlig unsicher.

Die Antwort von @derobert ist großartig, obwohl ich einige andere Informationen teilen möchte, die ich gefunden habe.

gzip -l -v

gzip-komprimierte Dateien enthalten bereits einen Hash (allerdings nicht sicher, siehe diesen SO-Beitrag ):

$ echo something > foo
$ gzip foo
$ gzip -v -l foo.gz 
method  crc     date  time           compressed        uncompressed  ratio uncompressed_name
defla 18b1f736 Feb  8 22:34                  34                  10 -20.0% foo

Man kann CRC und unkomprimierte Größe kombinieren, um einen schnellen Fingerabdruck zu erhalten:

gzip -v -l foo.gz | awk '{print $2, $7}'

cmp

Verwenden Sie zum Überprüfen, ob zwei Bytes gleich sind oder nicht cmp file1 file2. Jetzt hat eine komprimierte Datei einen Header mit angehängten Daten und Fußzeilen (CRC plus Originalgröße). Die Beschreibung des gzip-Formats zeigt, dass der Header die Zeit enthält, zu der die Datei komprimiert wurde, und dass der Dateiname eine nicht terminierte Zeichenfolge ist, die nach dem 10-Byte-Header angehängt wird.

Unter der Annahme, dass der Dateiname konstant ist und derselbe Befehl ( gzip "$name") verwendet wird, kann überprüft werden, ob zwei Dateien unterschiedlich sind, indem cmpdie ersten Bytes einschließlich der Zeit verwendet und übersprungen werden:

cmp -i 8 file1 file2

Hinweis : Die Annahme, dass dieselben Komprimierungsoptionen wichtig sind, andernfalls meldet der Befehl die Datei immer als unterschiedlich. Dies liegt daran, dass die Komprimierungsoptionen im Header gespeichert sind und sich auf die komprimierten Daten auswirken können. cmpbetrachtet nur rohe Bytes und interpretiert es nicht als gzip.

Wenn Sie Dateinamen gleicher Länge haben, können Sie versuchen, die zu überspringenden Bytes nach dem Lesen des Dateinamens zu berechnen. Wenn die Dateinamen unterschiedlich groß sind, können Sie cmpnach dem Überspringen von Bytes wie z cmp <(cut -b9- file1) <(cut -b10- file2).

zcmp

Dies ist definitiv der beste Weg, es komprimiert zuerst Daten und beginnt, die Bytes mit zu vergleichen cmp(wirklich, das ist, was im zcmp( zdiff) Shellscript gemacht wird).

Ein Hinweis, haben Sie keine Angst vor dem folgenden Hinweis auf der Handbuchseite:

Wenn beide Dateien vor dem Vergleich dekomprimiert werden müssen, wird die zweite in / tmp dekomprimiert. In allen anderen Fällen verwenden zdiff und zcmp nur eine Pipe.

Wenn Sie einen ausreichend neuen Bash haben, wird bei der Komprimierung keine temporäre Datei verwendet, sondern nur eine Pipe. Oder wie die zdiffQuelle sagt:

# Reject Solaris 8's buggy /bin/bash 2.03.

Um zwei gzip-Dateien zu vergleichen, nur den Inhalt, einen Befehl, nein diff, nur vergleichenmd5sum

$ diff -q <(zcat one.gz|md5sum|cut -f1 -d' ') \
          <(zcat two.gz|md5sum|cut -f1 -d' ') \
    && echo same || echo not_same

Sie können auch nach relevanten Unterschieden "filtern",

$ diff -q <(zcat one.gz|grep -v '^-- Dump completed'|md5sum|cut -f1 -d' ') \
          <(zcat two.gz|grep -v '^-- Dump completed'|md5sum|cut -f1 -d' ') \
   && echo same || echo not_same

Bei Skripten würde ich eine Filterfunktion empfehlen (nicht getestet, nur ein Beispiel),

do_filter_sum() {
  zcat $1 | grep -v '^-- Dump completed' | md5sum | cut -f1 -d' '
}

diff -q <(do_filter_sum one.gz) \
        <(do_filter_sum two.gz) \
        && echo same || echo not_same