Bash-Terminal: Kann das Suchen und Erstellen von Duplikaten global erweitert werden

Von Suchen und Entfernen doppelter Dateien in osx mit einem Skript Kann dies erweitert werden, um Duplikate auf der gesamten Festplatte anstatt pro Ordner zu finden?

Ich weiß, dass es Duplikate gibt, die sich jedoch nicht unbedingt im selben Ordner befinden.

macos bash terminal

— Anne
quelle

Wenn Sie keine kleine Festplatte haben, lautet die Antwort wahrscheinlich nein. Tatsächlich wird sogar die von Ihnen veröffentlichte Lösung mit ziemlicher Wahrscheinlichkeit ziemlich oft scheitern. Es ist möglich, dass eine Prüfsumme für zwei völlig verschiedene Dateien identisch ist. Eine Prüfsumme ist eine schnelle Überprüfung der Datenintegrität beim Lesen einer Datei von einem Laufwerk. Dies ist keine Methode zum Vergleichen von Dateidaten. Der Benutzer würde schnell herausfinden, warum dies unterschiedliche Konzepte sind, wenn er dieses Skript auf einer gesamten Festplatte ausprobiert.

— krowe

Versuchen Sie es mit fdupes stattdessen:

brew install fdupes
fdupes -rn .

-r rekursiv und in Unterverzeichnisse absteigend -n ignoriert leere Dateien. Hinzufügen -d um gefragt zu werden, welche Dateien aufbewahrt oder hinzugefügt werden sollen -dN um immer die erste Datei zu behalten und andere Dateien zu löschen.

Als ich versuchte zu rennen fdupes -rn /Es dauerte ungefähr vier Stunden, aber ich habe eine Festplatte mit ungefähr 1 TB an Dateien.

fdupes vergleicht zuerst Dateigrößen und MD5-Prüfsummen und führt, wenn sie identisch sind, byteweise Vergleiche durch. MD5-Kollisionen sind möglich, treten jedoch in der Praxis nur auf, wenn eine Datei erstellt wurde, die absichtlich denselben MD5-Digest wie eine andere (nicht identische) Datei enthält. Sogar dann, fdupes führt auch einen byteweisen Vergleich durch.

— Lri
quelle

Bash-Terminal: Kann das Suchen und Erstellen von Duplikaten global erweitert werden - Apple?