Hashing einer Datei in Python

Ich möchte, dass Python dem EOF vorliest, damit ich einen geeigneten Hash erhalten kann, egal ob es sich um sha1 oder md5 handelt. Bitte helfen Sie. Folgendes habe ich bisher:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR verwenden Puffer, um nicht Tonnen von Speicher zu verwenden.

Ich glaube, wir kommen zum Kern Ihres Problems, wenn wir die Auswirkungen des Arbeitens mit sehr großen Dateien auf den Speicher betrachten . Wir wollen nicht, dass dieser böse Junge 2 Gigs RAM für eine 2-Gigabyte-Datei durchläuft , also müssen wir , wie Pasztorpisti betont , mit diesen größeren Dateien in Stücken umgehen!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

Was wir getan haben, ist, dass wir unsere Hashes dieses bösen Jungen in 64-KB-Blöcken aktualisieren, während wir die praktische Dandy- Aktualisierungsmethode von hashlib befolgen . Auf diese Weise verbrauchen wir viel weniger Speicher als die 2 GB, die nötig wären, um den Kerl auf einmal zu hacken!

Sie können dies testen mit:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

Hoffentlich hilft das!

All dies wird auch in der verknüpften Frage auf der rechten Seite beschrieben: Holen Sie sich MD5-Hash von großen Dateien in Python

Nachtrag!

Im Allgemeinen hilft es beim Schreiben von Python, sich daran zu gewöhnen, pep-8 zu folgen . Beispielsweise werden in Python Variablen normalerweise durch Unterstriche getrennt und nicht camelCased. Aber das ist nur Stil und niemand kümmert sich wirklich um diese Dinge, außer Menschen, die schlechten Stil lesen müssen ... vielleicht lesen Sie diesen Code in Jahren.

Für die korrekte und effiziente Berechnung des Hashwerts einer Datei (in Python 3):

• Öffnen Sie die Datei im Binärmodus (dh 'b'zum Dateimodus hinzufügen ), um Probleme mit der Zeichenkodierung und der Konvertierung am Zeilenende zu vermeiden.
• Lesen Sie nicht die gesamte Datei in den Speicher, da dies eine Verschwendung von Speicher ist. Lesen Sie es stattdessen nacheinander Block für Block und aktualisieren Sie den Hash für jeden Block.
• Beseitigen Sie doppelte Pufferung, dh verwenden Sie keine gepufferten E / A-Vorgänge, da wir bereits eine optimale Blockgröße verwenden.
• Verwenden Sie readinto()diese Option, um eine Pufferumwandlung zu vermeiden.

Beispiel:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Ich würde einfach vorschlagen:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

Alle anderen Antworten hier scheinen zu kompliziert zu sein. Python puffert bereits beim Lesen (in idealer Weise, oder Sie konfigurieren diese Pufferung, wenn Sie mehr Informationen über den zugrunde liegenden Speicher haben). Daher ist es besser, Chunks einzulesen, die die Hash-Funktion als ideal erachtet, wodurch sie schneller oder zumindest weniger CPU-intensiv ist Berechnen Sie die Hash-Funktion. Anstatt die Pufferung zu deaktivieren und zu versuchen, sie selbst zu emulieren, verwenden Sie die Python-Pufferung und steuern, was Sie steuern sollten: Was der Verbraucher Ihrer Daten für die ideale Hash-Blockgröße hält.

Ich habe ein Modul programmiert, das große Dateien mit verschiedenen Algorithmen hashen kann.

pip3 install py_essentials

Verwenden Sie das Modul wie folgt:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

Hier ist eine Python 3, POSIX-Lösung (nicht Windows!), Mit der mmapdas Objekt in den Speicher abgebildet wird.

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)