Sicherlich muss es einen Weg geben, dies einfach zu tun!

Ich habe die Linux-Befehlszeilen-Apps wie sha1sumund ausprobiert, md5sumaber sie scheinen nur in der Lage zu sein, Hashes einzelner Dateien zu berechnen und eine Liste von Hash-Werten auszugeben, einen für jede Datei.

Ich muss einen einzelnen Hash für den gesamten Inhalt eines Ordners generieren (nicht nur für die Dateinamen).

Ich würde gerne so etwas machen

sha1sum /folder/of/stuff > singlehashvalue

Bearbeiten: Zur Verdeutlichung befinden sich meine Dateien auf mehreren Ebenen in einem Verzeichnisbaum. Sie befinden sich nicht alle im selben Stammordner.

Ein möglicher Weg wäre:

sha1sum Pfad / zu / Ordner / * | sha1sum

Wenn es einen ganzen Verzeichnisbaum gibt, ist es wahrscheinlich besser, find und xargs zu verwenden. Ein möglicher Befehl wäre

find path / to / folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

Und schließlich, wenn Sie auch Berechtigungen und leere Verzeichnisse berücksichtigen müssen:

(find path/to/folder -type f -print0  | sort -z | xargs -0 sha1sum;
 find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
   xargs -0 stat -c '%n %a') \
| sha1sum

Die Argumente dazu statbewirken, dass der Name der Datei gedruckt wird, gefolgt von den oktalen Berechtigungen. Die beiden Suchvorgänge werden nacheinander ausgeführt, wodurch die doppelte Menge an Festplatten-E / A verursacht wird. Der erste findet alle Dateinamen und prüft den Inhalt, der zweite findet alle Datei- und Verzeichnisnamen, druckt Namen und Modus. Die Liste der "Dateinamen und Prüfsummen", gefolgt von "Namen und Verzeichnissen mit Berechtigungen", wird dann für eine kleinere Prüfsumme mit einer Prüfsumme versehen.

• Verwenden Sie ein Tool zur Erkennung von Dateisystemeinbrüchen wie aide .

• Hash einen Teerball des Verzeichnisses:

  tar cvf - /path/to/folder | sha1sum

• Codieren Sie selbst etwas wie den Oneliner von vatine :

  find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

Du kannst tun tar -c /path/to/folder | sha1sum

Wenn Sie nur überprüfen möchten, ob sich etwas im Ordner geändert hat, würde ich Folgendes empfehlen:

ls -alR --full-time /folder/of/stuff | sha1sum

Sie erhalten lediglich einen Hash der ls-Ausgabe, die Ordner, Unterordner, ihre Dateien, ihren Zeitstempel, ihre Größe und ihre Berechtigungen enthält. So ziemlich alles, was Sie brauchen würden, um festzustellen, ob sich etwas geändert hat.

Bitte beachten Sie, dass dieser Befehl nicht für jede Datei einen Hash generiert. Deshalb sollte er schneller sein als die Verwendung von find.

Ein robuster und sauberer Ansatz

• Das Wichtigste zuerst, belasten Sie nicht den verfügbaren Speicher ! Hash eine Datei in Blöcken, anstatt die gesamte Datei zu füttern.
• Unterschiedliche Ansätze für unterschiedliche Bedürfnisse / Zwecke (alle unten aufgeführten oder wählen Sie aus, was auch immer gilt):
  • Hash nur den Eintragsnamen aller Einträge im Verzeichnisbaum
  • Hash den Dateiinhalt aller Einträge (lassen Sie das Meta wie, Inode-Nummer, ctime, atime, mtime, Größe usw., Sie bekommen die Idee)
  • Bei einem symbolischen Link ist sein Inhalt der Referenzname. Hash es oder überspringen
  • Folgen Sie dem Symlink oder folgen Sie ihm nicht (aufgelöster Name), während Sie den Inhalt des Eintrags hashen
  • Wenn es sich um ein Verzeichnis handelt, sind seine Inhalte nur Verzeichniseinträge. Während des rekursiven Durchlaufs werden sie schließlich gehasht. Sollten die Verzeichniseintragsnamen dieser Ebene gehasht werden, um dieses Verzeichnis zu kennzeichnen? Hilfreich in Anwendungsfällen, in denen der Hash erforderlich ist, um eine Änderung schnell zu identifizieren, ohne tief gehen zu müssen, um den Inhalt zu hashen. Ein Beispiel wäre die Änderung des Dateinamens, aber der Rest des Inhalts bleibt gleich und es handelt sich um ziemlich große Dateien
  • Behandeln Sie große Dateien gut (achten Sie auch hier auf den Arbeitsspeicher)
  • Behandeln Sie sehr tiefe Verzeichnisbäume (beachten Sie die geöffneten Dateideskriptoren).
  • Behandeln Sie nicht standardmäßige Dateinamen
  • Wie gehe ich mit Dateien vor, die Sockets, Pipes / FIFOs, Blockgeräte oder Char-Geräte sind? Müssen sie auch hashen?
  • Aktualisieren Sie die Zugriffszeit eines Eintrags während des Durchlaufs nicht, da dies ein Nebeneffekt ist und für bestimmte Anwendungsfälle kontraproduktiv (intuitiv?) Ist.

Dies ist, was ich auf meinem Kopf habe, jeder, der einige Zeit damit verbracht hat, praktisch daran zu arbeiten, hätte andere Fallstricke und Eckfälle gefangen.

Hier ist ein sehr speicherschonendes Tool , das die meisten Fälle anspricht, an den Rändern möglicherweise etwas rau ist, aber sehr hilfreich war.

Ein Beispiel für die Verwendung und Ausgabe von dtreetrawl.

Usage:
  dtreetrawl [OPTION...] "/trawl/me" [path2,...]

Help Options:
  -h, --help                Show help options

Application Options:
  -t, --terse               Produce a terse output; parsable.
  -j, --json                Output as JSON
  -d, --delim=:             Character or string delimiter/separator for terse output(default ':')
  -l, --max-level=N         Do not traverse tree beyond N level(s)
  --hash                    Enable hashing(default is MD5).
  -c, --checksum=md5        Valid hashing algorithms: md5, sha1, sha256, sha512.
  -R, --only-root-hash      Output only the root hash. Blank line if --hash is not set
  -N, --no-name-hash        Exclude path name while calculating the root checksum
  -F, --no-content-hash     Do not hash the contents of the file
  -s, --hash-symlink        Include symbolic links' referent name while calculating the root checksum
  -e, --hash-dirent         Include hash of directory entries while calculating root checksum

Ein Ausschnitt aus menschenfreundlichen Ergebnissen:

...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
        Base name                    : CREDITS
        Level                        : 1
        Type                         : regular file
        Referent name                :
        File size                    : 98443 bytes
        I-node number                : 290850
        No. directory entries        : 0
        Permission (octal)           : 0644
        Link count                   : 1
        Ownership                    : UID=0, GID=0
        Preferred I/O block size     : 4096 bytes
        Blocks allocated             : 200
        Last status change           : Tue, 21 Nov 17 21:28:18 +0530
        Last file access             : Thu, 28 Dec 17 00:53:27 +0530
        Last file modification       : Tue, 21 Nov 17 21:28:18 +0530
        Hash                         : 9f0312d130016d103aa5fc9d16a2437e

Stats for /home/lab/linux-4.14-rc8:
        Elapsed time     : 1.305767 s
        Start time       : Sun, 07 Jan 18 03:42:39 +0530
        Root hash        : 434e93111ad6f9335bb4954bc8f4eca4
        Hash type        : md5
        Depth            : 8
        Total,
                size           : 66850916 bytes
                entries        : 12484
                directories    : 763
                regular files  : 11715
                symlinks       : 6
                block devices  : 0
                char devices   : 0
                sockets        : 0
                FIFOs/pipes    : 0

Wenn Sie nur den Inhalt der Dateien hashen und die Dateinamen ignorieren möchten, können Sie verwenden

cat $FILES | md5sum

Stellen Sie sicher, dass Sie die Dateien in derselben Reihenfolge haben, wenn Sie den Hash berechnen:

cat $(echo $FILES | sort) | md5sum

Sie können jedoch keine Verzeichnisse in Ihrer Dateiliste haben.

Wenn dies ein Git-Repo ist und Sie alle darin enthaltenen Dateien ignorieren .gitignoremöchten, möchten Sie möglicherweise Folgendes verwenden:

git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1

Das funktioniert gut für mich.

Dafür gibt es ein Python-Skript:

http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/

Wenn Sie die Namen einer Datei ändern, ohne ihre alphabetische Reihenfolge zu ändern, wird sie vom Hash-Skript nicht erkannt. Wenn Sie jedoch die Reihenfolge der Dateien oder den Inhalt einer Datei ändern, erhalten Sie beim Ausführen des Skripts einen anderen Hash als zuvor.

Ein weiteres Werkzeug, um dies zu erreichen:

http://md5deep.sourceforge.net/

Wie es sich anhört: wie md5sum, aber auch rekursiv, plus andere Funktionen.

Versuchen Sie es in zwei Schritten:

1. Erstellen Sie eine Datei mit Hashes für alle Dateien in einem Ordner
2. Hash diese Datei

Wie so:

# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes

Oder alles auf einmal:

# cat `find /folder/of/stuff -type f | sort` | sha1sum

Ich würde die Ergebnisse für einzelne Dateien durch sort(um eine bloße Neuordnung von Dateien zu verhindern, um den Hash zu ändern) in md5sumoder sha1sumweiterleiten, je nachdem, was Sie wählen.

Ich habe dazu ein Groovy-Skript geschrieben:

import java.security.MessageDigest

public static String generateDigest(File file, String digest, int paddedLength){
    MessageDigest md = MessageDigest.getInstance(digest)
    md.reset()
    def files = []
    def directories = []

    if(file.isDirectory()){
        file.eachFileRecurse(){sf ->
            if(sf.isFile()){
                files.add(sf)
            }
            else{
                directories.add(file.toURI().relativize(sf.toURI()).toString())
            }
        }
    }
    else if(file.isFile()){
        files.add(file)
    }

    files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
    directories.sort()

    files.each(){f ->
        println file.toURI().relativize(f.toURI()).toString()
        f.withInputStream(){is ->
            byte[] buffer = new byte[8192]
            int read = 0
            while((read = is.read(buffer)) > 0){
                md.update(buffer, 0, read)
            }
        }
    }

    directories.each(){d ->
        println d
        md.update(d.getBytes())
    }

    byte[] digestBytes = md.digest()
    BigInteger bigInt = new BigInteger(1, digestBytes)
    return bigInt.toString(16).padLeft(paddedLength, '0')
}

println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"

Sie können die Verwendung anpassen, um zu vermeiden, dass jede Datei gedruckt wird, der Nachrichtenauszug geändert wird, Verzeichnis-Hashing ausgeführt wird usw. Ich habe sie anhand der NIST-Testdaten getestet und sie funktioniert wie erwartet. http://www.nsrl.nist.gov/testdata/

gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/

79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758

Ich musste in ein ganzes Verzeichnis nach Dateiänderungen suchen.

Aber mit Ausschluss, Zeitstempeln, Verzeichnisbesitz.

Ziel ist es, überall eine identische Summe zu erhalten, wenn die Dateien identisch sind.

Einschließlich des Hostings auf anderen Computern, unabhängig von den Dateien, oder einer Änderung an diesen.

md5sum * | md5sum | cut -d' ' -f1

Es generiert eine Liste von Hashs nach Dateien und verkettet diese Hashes zu einem.

Dies ist viel schneller als die Teermethode.

Für eine stärkere Privatsphäre in unseren Hashes können wir sha512sum nach demselben Rezept verwenden.

sha512sum * | sha512sum | cut -d' ' -f1

Die Hashes sind mit sha512sum auch überall identisch , es ist jedoch keine Möglichkeit bekannt, sie umzukehren.

Sie können sha1sumdie Liste der Hash-Werte generieren und sha1sumdiese Liste dann erneut. Dies hängt davon ab, was genau Sie erreichen möchten.

Hier ist eine einfache, kurze Variante in Python 3, die für kleine Dateien (z. B. einen Quellbaum oder etwas, bei dem jede Datei einzeln problemlos in den Arbeitsspeicher passt) problemlos funktioniert. Dabei werden leere Verzeichnisse ignoriert, basierend auf den Ideen der anderen Lösungen:

import os, hashlib

def hash_for_directory(path, hashfunc=hashlib.sha1):                                                                                            
    filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)         
    index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)               
    return hashfunc(index.encode('utf-8')).hexdigest()                          

Es funktioniert so:

1. Suchen Sie alle Dateien im Verzeichnis rekursiv und sortieren Sie sie nach Namen
2. Berechnen Sie den Hash (Standard: SHA-1) jeder Datei (liest die gesamte Datei in den Speicher)
3. Erstellen Sie einen Textindex mit den Zeilen "Dateiname = Hash"
4. Codieren Sie diesen Index zurück in eine UTF-8-Byte-Zeichenfolge und hashen Sie diese

Sie können eine andere Hash-Funktion als zweiten Parameter übergeben, wenn SHA-1 nicht Ihre Tasse Tee ist.