Wie kann ich eine MD5-Prüfsumme eines Verzeichnisses berechnen?

Ich muss eine zusammenfassende MD5-Prüfsumme für alle Dateien eines bestimmten Typs ( *.pyzum Beispiel) berechnen, die sich unter einem Verzeichnis und allen Unterverzeichnissen befinden.

Was ist der beste Weg das zu tun?

Bearbeiten: Die vorgeschlagenen Lösungen sind sehr schön, aber das ist nicht genau das, was ich brauche. Ich suche nach einer Lösung, um eine einzige zusammenfassende Prüfsumme zu erhalten, die das Verzeichnis als Ganzes eindeutig identifiziert - einschließlich des Inhalts aller seiner Unterverzeichnisse.

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

Der Befehl find listet alle Dateien auf, die mit .py enden. Die md5sum wird für jede .py-Datei berechnet. awk wird verwendet, um die md5sums auszuwählen (wobei die Dateinamen ignoriert werden, die möglicherweise nicht eindeutig sind). Die md5-Summen sind sortiert. Die md5sum dieser sortierten Liste wird dann zurückgegeben.

Ich habe dies getestet, indem ich ein Testverzeichnis kopiert habe:

rsync -a ~/pybin/ ~/pybin2/

Ich habe einige der Dateien in ~ / pybin2 umbenannt.

Der find...md5sumBefehl gibt für beide Verzeichnisse dieselbe Ausgabe zurück.

2bcf49a4d19ef9abd284311108d626f1  -

Erstellen Sie im Handumdrehen eine Teerarchivdatei und leiten Sie diese an md5sum:

tar c dir | md5sum

Dies erzeugt eine einzelne MD5-Summe, die für Ihre Datei- und Unterverzeichnis-Einrichtung eindeutig sein sollte. Es werden keine Dateien auf der Festplatte erstellt.

Der Vorschlag von ire_and_curses zur Verwendung tar c <dir>weist einige Probleme auf:

• tar verarbeitet Verzeichniseinträge in der Reihenfolge, in der sie im Dateisystem gespeichert sind, und es gibt keine Möglichkeit, diese Reihenfolge zu ändern. Dies kann effektiv zu völlig unterschiedlichen Ergebnissen führen, wenn Sie das "gleiche" Verzeichnis an verschiedenen Stellen haben, und ich kenne keine Möglichkeit, dies zu beheben (tar kann seine Eingabedateien nicht in einer bestimmten Reihenfolge "sortieren").
• Normalerweise ist es mir wichtig, ob Gruppen- und Eigentümer-ID-Nummern identisch sind, nicht unbedingt, ob die Zeichenfolgendarstellung von Gruppe / Eigentümer identisch ist. Dies entspricht beispielsweise dem, was es rsync -a --deletetut: Es synchronisiert praktisch alles (minus xattrs und acls), synchronisiert jedoch Eigentümer und Gruppe basierend auf ihrer ID und nicht anhand der Zeichenfolgendarstellung. Wenn Sie also mit einem anderen System synchronisiert haben, das nicht unbedingt dieselben Benutzer / Gruppen hat, sollten Sie --numeric-ownertar das Flag hinzufügen
• tar enthält den Dateinamen des Verzeichnisses, das Sie selbst überprüfen, nur etwas, das Sie beachten sollten.

Solange es keine Lösung für das erste Problem gibt (oder wenn Sie nicht sicher sind, dass es Sie nicht betrifft), würde ich diesen Ansatz nicht verwenden.

Die findoben vorgeschlagenen basierten Lösungen sind auch nicht gut, da sie nur Dateien und keine Verzeichnisse enthalten. Dies wird zu einem Problem, wenn Sie bei der Prüfsumme leere Verzeichnisse berücksichtigen sollten.

Schließlich werden die meisten Lösungsvorschläge nicht konsistent sortiert, da die Sortierung systemübergreifend unterschiedlich sein kann.

Dies ist die Lösung, die ich mir ausgedacht habe:

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

Hinweise zu dieser Lösung:

• Dies LC_ALL=Csoll eine zuverlässige Sortierreihenfolge zwischen den Systemen gewährleisten
• Dies unterscheidet nicht zwischen einem Verzeichnis "named \ nwithanewline" und zwei Verzeichnissen "named" und "withanewline", aber die Wahrscheinlichkeit, dass dies auftritt, scheint sehr unwahrscheinlich. Normalerweise behebt man dies mit einem -print0Flag für, findaber da hier andere Dinge vor sich gehen, kann ich nur Lösungen sehen, die den Befehl komplizierter machen würden, als es sich lohnt.

PS: Eines meiner Systeme verwendet eine begrenzte Busybox, finddie weder unterstützt -execnoch -print0markiert. Außerdem wird '/' angehängt, um Verzeichnisse zu kennzeichnen, während findutils find dies nicht zu tun scheint. Daher muss ich für diesen Computer Folgendes ausführen:

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

Glücklicherweise habe ich keine Dateien / Verzeichnisse mit Zeilenumbrüchen im Namen, daher ist dies auf diesem System kein Problem.

Wenn Sie sich nur für Dateien und nicht für leere Verzeichnisse interessieren, funktioniert dies gut:

find /path -type f | sort -u | xargs cat | md5sum

Der Vollständigkeit halber gibt es md5deep (1) ; Es ist aufgrund der Filteranforderung * .py nicht direkt anwendbar, sollte aber zusammen mit find (1) gut funktionieren.

Eine Lösung, die für mich am besten funktioniert hat:

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

Grund, warum es bei mir am besten funktioniert hat:

1. Behandelt Dateinamen, die Leerzeichen enthalten
2. Ignoriert Metadaten des Dateisystems
3. Erkennt, ob die Datei umbenannt wurde

Probleme mit anderen Antworten:

Dateisystem-Metadaten werden nicht ignoriert für:

tar c - "$path" | md5sum

Behandelt keine Dateinamen, die Leerzeichen enthalten, und erkennt auch nicht, ob die Datei umbenannt wurde:

find /path -type f | sort -u | xargs cat | md5sum

Wenn Sie eine MD5-Summe möchten, die sich über das gesamte Verzeichnis erstreckt, würde ich so etwas tun

cat *.py | md5sum 

Prüfen Sie alle Dateien, einschließlich des Inhalts und ihrer Dateinamen

grep -ar -e . /your/dir | md5sum | cut -c-32

Wie oben, jedoch nur mit * .py-Dateien

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

Sie können auch Symlinks folgen, wenn Sie möchten

grep -aR -e . /your/dir | md5sum | cut -c-32

Andere Optionen, die Sie mit grep verwenden könnten

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

GNU finden

find /path -type f -name "*.py" -exec md5sum "{}" +;

Technisch müssen Sie nur laufen ls -lR *.py | md5sum. Sofern Sie sich keine Sorgen darüber machen, dass jemand die Dateien ändert und sie auf ihre ursprünglichen Daten zurücksetzt und niemals die Größe der Dateien ändert, sollte die Ausgabe von lsIhnen mitteilen, ob sich die Datei geändert hat. Mein Unix-foo ist schwach, daher benötigen Sie möglicherweise weitere Befehlszeilenparameter, um die Erstellungszeit und die Änderungszeit zum Drucken zu erhalten. lsAußerdem erfahren Sie, ob sich die Berechtigungen für die Dateien geändert haben (und ich bin sicher, dass es Schalter gibt, mit denen Sie das deaktivieren können, wenn Sie sich nicht darum kümmern).

Verwenden von md5deep:

md5deep -r FOLDER | awk '{print $1}' | sort | md5sum

Ich hatte das gleiche Problem, also habe ich mir dieses Skript ausgedacht, das nur die md5-Summen der Dateien im Verzeichnis auflistet. Wenn es ein Unterverzeichnis findet, wird es von dort aus erneut ausgeführt. Dazu muss das Skript in der Lage sein, das aktuelle Skript auszuführen Verzeichnis oder aus einem Unterverzeichnis, wenn das Argument in $ 1 übergeben wird

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

Wenn Sie wirklich unabhängig von den Dateisystemattributen und den Unterschieden auf Bitebene einiger Tar-Versionen sein möchten, können Sie cpio verwenden:

cpio -i -e theDirname | md5sum

Es gibt zwei weitere Lösungen:

Erstellen:

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

Prüfen:

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file

md5sumfunktionierte gut für mich, aber ich hatte Probleme mit sortund Sortieren von Dateinamen. Also habe ich stattdessen nach md5sumErgebnis sortiert . Ich musste auch einige Dateien ausschließen, um vergleichbare Ergebnisse zu erzielen.

find . -type f -print0 \ | xargs -r0 md5sum \ | grep -v ".env" \ | grep -v "vendor/autoload.php" \ | grep -v "vendor/composer/" \ | sort -d \ | md5sum