Generieren einer MD5-Prüfsumme einer Datei

Gibt es eine einfache Möglichkeit, MD5-Prüfsummen einer Dateiliste in Python zu generieren (und zu überprüfen)? (Ich habe ein kleines Programm, an dem ich arbeite, und ich möchte die Prüfsummen der Dateien bestätigen.)

Sie können hashlib.md5 () verwenden

Beachten Sie, dass Sie manchmal nicht in der Lage sind, die gesamte Datei in den Speicher zu passen. In diesem Fall müssen Sie Blöcke von 4096 Bytes nacheinander lesen und der md5Methode zuführen :

import hashlib
def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

Hinweis: hash_md5.hexdigest() Gibt die Hex-Zeichenfolgendarstellung für den Digest zurück, wenn Sie nur die gepackten Bytes verwenden müssen return hash_md5.digest(), damit Sie nicht zurück konvertieren müssen.

Es gibt einen Weg, der ziemlich ineffizient ist .

einzelne Datei:

import hashlib
def file_as_bytes(file):
    with file:
        return file.read()

print hashlib.md5(file_as_bytes(open(full_path, 'rb'))).hexdigest()

Liste der Dateien:

[(fname, hashlib.md5(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Denken Sie jedoch daran, dass MD5 als fehlerhaft bekannt ist und für keinen Zweck verwendet werden sollte, da die Schwachstellenanalyse sehr schwierig sein kann und eine Analyse der möglichen zukünftigen Verwendung Ihres Codes für Sicherheitsprobleme unmöglich ist. IMHO sollte es direkt aus der Bibliothek entfernt werden, damit jeder, der es verwendet, gezwungen ist, es zu aktualisieren. Folgendes sollten Sie stattdessen tun:

[(fname, hashlib.sha256(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

Wenn Sie nur Digest im Wert von 128 Bit möchten, können Sie dies tun .digest()[:16].

Dadurch erhalten Sie eine Liste von Tupeln, wobei jedes Tupel den Namen seiner Datei und seinen Hash enthält.

Auch hier stelle ich Ihre Verwendung von MD5 in Frage. Sie sollten mindestens SHA1 verwenden und angesichts der kürzlich in SHA1 entdeckten Fehler wahrscheinlich nicht einmal das. Einige Leute denken, dass es Ihnen gut geht, solange Sie MD5 nicht für "kryptografische" Zwecke verwenden. Aber Dinge haben die Tendenz, einen größeren Umfang zu haben, als Sie ursprünglich erwartet hatten, und Ihre gelegentliche Schwachstellenanalyse kann sich als völlig fehlerhaft erweisen. Es ist am besten, sich einfach daran zu gewöhnen, den richtigen Algorithmus von Anfang an zu verwenden. Es ist nur das Tippen eines anderen Buchstabenbündels. Es ist nicht so schwer.

Hier ist ein Weg, der komplexer, aber speichereffizienter ist :

import hashlib

def hash_bytestr_iter(bytesiter, hasher, ashexstr=False):
    for block in bytesiter:
        hasher.update(block)
    return hasher.hexdigest() if ashexstr else hasher.digest()

def file_as_blockiter(afile, blocksize=65536):
    with afile:
        block = afile.read(blocksize)
        while len(block) > 0:
            yield block
            block = afile.read(blocksize)


[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.md5()))
    for fname in fnamelst]

Und wieder, da MD5 kaputt ist und eigentlich nie mehr verwendet werden sollte:

[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.sha256()))
    for fname in fnamelst]

Auch hier können Sie [:16]nach dem Aufruf setzen, hash_bytestr_iter(...)wenn Sie nur 128 Bit Digest wollen.

Ich füge eindeutig nichts grundlegend Neues hinzu, aber ich habe diese Antwort hinzugefügt, bevor ich den Status eines Kommentars erreicht habe, und die Code-Regionen machen die Dinge klarer - jedenfalls speziell, um die Frage von @ Nemo aus der Antwort von Omnifarious zu beantworten:

Ich habe zufällig ein wenig über Prüfsummen nachgedacht (bin hierher gekommen, um nach Vorschlägen für Blockgrößen zu suchen) und habe festgestellt, dass diese Methode möglicherweise schneller ist als erwartet. Nehmen Sie die schnellste (aber ziemlich typische) timeit.timeitoder /usr/bin/timeErgebnis aus jeder von mehreren Methoden der Prüfsumme einer Datei von ca. 11 MB:

$ ./sum_methods.py
crc32_mmap(filename) 0.0241742134094
crc32_read(filename) 0.0219960212708
subprocess.check_output(['cksum', filename]) 0.0553209781647
md5sum_mmap(filename) 0.0286180973053
md5sum_read(filename) 0.0311000347137
subprocess.check_output(['md5sum', filename]) 0.0332629680634
$ time md5sum /tmp/test.data.300k
d3fe3d5d4c2460b5daacc30c6efbc77f  /tmp/test.data.300k

real    0m0.043s
user    0m0.032s
sys     0m0.010s
$ stat -c '%s' /tmp/test.data.300k
11890400

Es sieht also so aus, als würden sowohl Python als auch / usr / bin / md5sum etwa 30 ms für eine 11-MB-Datei benötigen. Die relevante md5sumFunktion ( md5sum_readin der obigen Auflistung) ist der von Omnifarious ziemlich ähnlich:

import hashlib
def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

Zugegeben, diese stammen aus einzelnen Läufen (die mmapsind immer ein bisschen schneller, wenn mindestens ein paar Dutzend Läufe gemacht werden), und meine haben normalerweise ein Extra, f.read(blocksize)nachdem der Puffer erschöpft ist, aber es ist einigermaßen wiederholbar und zeigt, dass dies md5sumin der Befehlszeile der Fall ist nicht unbedingt schneller als eine Python-Implementierung ...

EDIT: Entschuldigung für die lange Verzögerung, ich habe mir das seit einiger Zeit nicht mehr angesehen, aber um die Frage von @ EdRandall zu beantworten, schreibe ich eine Adler32-Implementierung auf. Allerdings habe ich die Benchmarks dafür nicht ausgeführt. Es ist im Grunde das gleiche wie beim CRC32: Anstelle der Init-, Update- und Digest-Aufrufe ist alles ein zlib.adler32()Aufruf:

import zlib
def adler32sum(filename, blocksize=65536):
    checksum = zlib.adler32("")
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            checksum = zlib.adler32(block, checksum)
    return checksum & 0xffffffff

Beachten Sie, dass dies mit der leeren Zeichenfolge beginnen muss, da sich die Adler-Summen tatsächlich unterscheiden, wenn Sie bei Null beginnen, gegenüber ihrer Summe für "", 1dh - CRC kann 0stattdessen beginnen. Das AND-ing wird benötigt, um eine 32-Bit-Ganzzahl ohne Vorzeichen zu erstellen, wodurch sichergestellt wird, dass in allen Python-Versionen derselbe Wert zurückgegeben wird.

In Python 3.8+ können Sie dies tun

import hashlib
with open("your_filename.txt", "rb") as f:
    file_hash = hashlib.md5()
    while chunk := f.read(8192):
        file_hash.update(chunk)

print(file_hash.digest())
print(file_hash.hexdigest())  # to get a printable str instead of bytes

Erwägen Sie hashlib.blake2bstatt md5(nur ersetzen md5mit blake2bin der obigen Snippet). Es ist kryptografisch sicher und schneller als MD5.

hashlib.md5(pathlib.Path('path/to/file').read_bytes()).hexdigest()

Ich denke, dass es etwas bequemer ist, sich auf invoke package und md5sum binary zu verlassen als auf subprocess oder md5 package

import invoke

def get_file_hash(path):

    return invoke.Context().run("md5sum {}".format(path), hide=True).stdout.split(" ")[0]

Dies setzt natürlich voraus, dass Sie invoke und md5sum installiert haben.