Finden Sie doppelte Hashes

Ich habe eine Reihe von Dateien (4800 Dateien), von denen ich glaube, dass sie viele Duplikate und Dreifache enthalten. Problem ist, dass sie auch nicht die gleichen Namen haben. Ich habe bereits die einfachen mit den gleichen Namen ausgesondert. Die Dateien sind alle in einem engen Größenbereich, das ist also nicht hilfreich.

Ich dachte, es könnte möglich sein, ein Skript auszuführen, um die Hashes aller Dateien in einem Verzeichnis zu überprüfen und doppelte Hashes zu melden. Weiß jemand, wie man so etwas erreicht?

Kann auf Linux und Windows tun.

Vielen Dank

hashing deduplication

— Dr.Ping
quelle

Hier ist ein Powershell-Befehl, der alle Ihre Dateien (in einem bestimmten Verzeichnis) durchsucht und das Ergebnis in eine CSV-Datei ausgibt.

Get-FileHash -Algorithm MD5 -Path (Get-ChildItem "\\Path\to\files\*.*" -Recurse) | Export-Csv C:\Temp\hashes.csv

Danach können Sie die CSV-Datei in Excel öffnen und die Duplikate ausrotten.

Beachten Sie, dass das Cmdlet "Get-FileHash" nur in Powershell Version 4 oder höher verfügbar ist.

— Charles Burge
quelle

Wird es auch Unterverzeichnisse einchecken? Ist es das, was -Recurse macht?

— Dr.Ping

Ja, das ist richtig.

— Charles Burge

Vielen Dank! Genau das, was ich brauchte. Hat mir eine Menge geholfen. Es wurden ein paar hundert Duplikate gefunden, die andere Duplikatdateisucher nicht gefunden haben. Ich habe den Algorithmus auf sha1 geändert, um sicherzugehen.

— Dr.Ping

Einmal in eine CSV-Datei exportiert, macht es die bedingte Formatierung (und anschließende Sortierung) von Excel sehr einfach, die Duplikate zu finden

— Dr.Ping

Es spielt keine Rolle, welchen Algorithmus Sie verwenden, solange Sie konsistent bleiben. Die Verwendung von MD5 ist jedoch insgesamt schneller, da die einzelnen Berechnungen weniger Zeit in Anspruch nehmen.

— Charles Burge