Ich suche nach einer einfachen Möglichkeit (einem Befehl oder einer Reihe von Befehlen, die wahrscheinlich einschließen find), um doppelte Dateien in zwei Verzeichnissen zu finden und die Dateien in einem Verzeichnis durch Hardlinks der Dateien im anderen Verzeichnis zu ersetzen.

Hier ist die Situation: Dies ist ein Dateiserver, auf dem mehrere Personen Audiodateien speichern, wobei jeder Benutzer einen eigenen Ordner hat. Manchmal haben mehrere Personen Kopien der exakt gleichen Audiodateien. Im Moment sind dies Duplikate. Ich würde es gerne so machen, dass sie Hardlinks sind, um Festplattenspeicher zu sparen.

Es gibt ein Perl-Skript unter http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.pl, das genau das tut, was Sie wollen:

Durchsuchen Sie alle in der Befehlszeile genannten Verzeichnisse, berechnen Sie MD5-Prüfsummen und suchen Sie nach Dateien mit identischem MD5. Wenn sie gleich sind, führen Sie einen echten Vergleich durch, wenn sie wirklich gleich sind. Ersetzen Sie die zweite von zwei Dateien durch einen festen Link zur ersten.

rdfindtut genau das, wonach du fragst (und in der Reihenfolge, in der johny warum auflistet). Ermöglicht das Löschen von Duplikaten und deren Ersetzung durch weiche oder harte Links. In Kombination mit können symlinksSie den Symlink auch absolut oder relativ machen. Sie können sogar einen Prüfsummenalgorithmus auswählen (md5 oder sha1).

Da es kompiliert ist, ist es schneller als die meisten skriptbasierten Lösungen: timeAuf einem 15-GB-Ordner mit 2600 Dateien auf meinem Mac Mini aus dem Jahr 2009 wird dies zurückgegeben

9.99s user 3.61s system 66% cpu 20.543 total

(mit md5).

Verfügbar in den meisten Paket-Handlern (zB MacPorts für Mac OS X).

Verwenden Sie das fdupesTool:

fdupes -r /path/to/foldergibt Ihnen eine Liste der Duplikate im Verzeichnis (-r macht es rekursiv). Die Ausgabe sieht folgendermaßen aus:

Dateiname1
Dateiname2

Dateiname3
Dateiname4
Dateiname5

wobei filename1 und filename2 identisch sind und filename3, filename4 und filename5 ebenfalls identisch sind.

Ich benutze hardlinkvon http://jak-linux.org/projects/hardlink/

Dies ist eine der Funktionen von "fslint" - http://en.flossmanuals.net/FSlint/Introduction

Klicken Sie auf die Schaltfläche "Zusammenführen":

Da Ihr Hauptziel darin besteht, Speicherplatz zu sparen, gibt es eine andere Lösung: Deduplizierung (und wahrscheinlich Komprimierung) auf Dateisystemebene. Verglichen mit der Hardlink-Lösung hat es nicht das Problem, versehentlich andere verknüpfte Dateien zu beeinflussen.

ZFS hat seit Pool-Version 23 Dedup (Block-Level, nicht File-Level) und seit langer Zeit Komprimierung. Wenn Sie Linux verwenden, können Sie zfs-fuse ausprobieren , oder wenn Sie BSD verwenden, wird es nativ unterstützt.

Unter modernen Linux-Betriebssystemen gibt es heutzutage https://github.com/g2p/bedup, das Deduplizierungen auf einem btrfs-Dateisystem vornimmt, aber 1) ohne den Scan-Aufwand, 2) Dateien können danach leicht wieder auseinander gehen.

Um doppelte Dateien zu finden, können Sie Duff verwenden .

Duff ist ein Unix-Befehlszeilenprogramm zum schnellen Auffinden von Duplikaten in einem bestimmten Satz von Dateien.

Einfach ausführen:

duff -r target-folder

Um automatisch Hardlinks zu diesen Dateien zu erstellen, müssen Sie die Ausgabe von duff mit bash oder einer anderen Skriptsprache analysieren .

aptitude show hardlink

Beschreibung: Verknüpft mehrere Kopien derselben Datei. Hardlink ist ein Tool, das mehrere Kopien derselben Datei erkennt und durch Hardlinks ersetzt.

Die Idee wurde von http://code.google.com/p/hardlinkpy/ übernommen , aber der Code wurde von Grund auf neu geschrieben und unter der MIT-Lizenz lizenziert. Homepage: http://jak-linux.org/projects/hardlink/

Ich habe viele der hier erwähnten Hardlinking-Tools für Linux verwendet. Ich bin auch mit ext4 fs auf Ubuntu stecken geblieben und habe seine cp -l und -s für Hard / Softlinking verwendet. Kürzlich ist jedoch aufgefallen, dass in der Manpage von cp eine leichtgewichtige Kopie enthalten ist , die impliziert, dass redundanter Speicherplatz gespart wird, bis eine Seite geändert wird:

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

Scheint mir, dass das Überprüfen des Dateinamens die Dinge beschleunigen könnte. Fehlen zwei Dateien mit demselben Dateinamen, würde ich sie in vielen Fällen nicht als Duplikate betrachten. Scheint, dass die schnellste Methode wäre zu vergleichen, um:

• Dateiname
• Größe
• md5 prüfsumme
• Byte-Inhalt

Tun irgendwelche Methoden dies? Schauen Sie sich duff, fdupes, rmlint, fslintetc.

Die folgende Methode wurde auf commandlinefu.com am häufigsten gewählt : Doppelte Dateien suchen (zuerst nach Größe, dann nach MD5-Hash)

Kann der Dateinamenvergleich als erster Schritt hinzugefügt werden, die Größe als zweiter Schritt?

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

Da ich kein Perl-Fan bin, gibt es hier eine Bash-Version:

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

Dadurch werden alle Dateien mit derselben Prüfsumme (ob groß, klein oder bereits fest verknüpft) gefunden und miteinander verknüpft.

Dies kann für wiederholte Durchläufe mit zusätzlichen Suchflags (z. B. Größe) und einem Datei-Cache stark optimiert werden (damit Sie die Prüfsummen nicht jedes Mal wiederholen müssen). Wenn jemand an der intelligenteren, längeren Version interessiert ist, kann ich sie posten.

HINWEIS: Wie bereits erwähnt, funktionieren Hardlinks so lange, wie die Dateien nie geändert werden müssen oder zwischen Dateisystemen verschoben werden müssen.

Ich habe ein Perl-Skript erstellt, das etwas ähnliches macht wie das, wovon Sie sprechen:

http://pastebin.com/U7mFHZU7

Grundsätzlich durchläuft es nur ein Verzeichnis, berechnet die SHA1-Summe der darin enthaltenen Dateien, hascht sie und verknüpft Übereinstimmungen miteinander. Es hat sich bei vielen Gelegenheiten als nützlich erwiesen.

Wenn Sie Duplikate auf einem Mac oder einem UNIX-basierten System durch Hard Links ersetzen möchten, können Sie versuchen, SmartDupe unter http://sourceforge.net/projects/smartdupe/ zu entwickeln

Die Anwendung FSLint ( http://www.pixelbeat.org/fslint/ ) kann alle gleichen Dateien in jedem Ordner (nach Inhalt) finden und Hardlinks erstellen. Versuche es!

Jorge Sampaio

jdupes wurde in einem Kommentar erwähnt, verdient aber eine eigene Antwort, da es wahrscheinlich in den meisten Distributionen verfügbar ist und ziemlich schnell ausgeführt wird (es hat gerade 2,7 GB einer zu 98% vollen 158 GB-Partition (SSD-Laufwerk) in etwa einer Minute freigegeben):

jdupes -rL /foo/bar

Wenn Sie Hardlinks erstellen, achten Sie auf die Rechte an dieser Datei. Hinweis, Eigentümer, Gruppe, Modus, erweiterte Attribute, Zeit und ACL (falls Sie dies verwenden) werden in INODE gespeichert. Nur Dateinamen unterscheiden sich, da diese in der Verzeichnisstruktur gespeichert sind und andere auf INODE-Eigenschaften verweisen. Aus diesem Grund haben alle Dateinamen, die mit demselben Inode verknüpft sind, dieselben Zugriffsrechte. Sie sollten verhindern, dass diese Datei geändert wird, da jeder Benutzer andere Dateien beschädigen kann. Es ist einfach. Es reicht aus, wenn ein Benutzer eine andere Datei mit demselben Namen erstellt. Die Inode-Nummer wird dann gespeichert, und der ursprüngliche Dateiinhalt wird für alle fest verknüpften Namen zerstört (ersetzt).

Besser ist die Deduplizierung auf Dateisystemebene. Sie können BTRFS (sehr beliebt beim letzten Mal), OCFS oder ähnliches verwenden. Schauen Sie sich die Seite an: https://en.wikipedia.org/wiki/Comparison_of_file_systems , speziell in der Tabelle Features und Deduplizierung von Spaltendaten. Sie können darauf klicken und sortieren :)

Betrachten Sie speziell das ZFS-Dateisystem. Dies ist als FUSE verfügbar, aber auf diese Weise ist es sehr langsam. Wenn Sie native Unterstützung wünschen, besuchen Sie die Seite http://zfsonlinux.org/ . Dann müssen Sie den Kernel patchen und als nächstes die zfs-Tools für die Verwaltung installieren. Ich verstehe nicht, warum Linux als Treiber nicht unterstützt, es ist übrigens für viele andere Betriebssysteme / Kernel.

Dateisysteme unterstützen die Deduplizierung auf zwei Arten, die Deduplizierung von Dateien oder Blöcken. ZFS unterstützt Block. Dies bedeutet, dass derselbe Inhalt, der sich in derselben Datei wiederholt, dedupliziert werden kann. Wenn Daten dedupliziert werden, kann dies auch online (zfs) oder offline (btrfs) sein.

Beachten Sie, dass die Deduplizierung RAM verbraucht. Aus diesem Grund führt das Schreiben von Dateien auf ein mit FUSE bereitgestelltes ZFS-Volume zu einer dramatisch langsamen Leistung. Dies ist in der Dokumentation beschrieben. Sie können die Deduplizierung jedoch online für die Lautstärke ein- und ausschalten. Wenn Sie feststellen, dass Daten dedupliziert werden sollten, müssen Sie nur die Deduplizierung aktivieren, einige Dateien in temporäre Dateien umschreiben und schließlich ersetzen. Danach können Sie die Deduplizierung deaktivieren und die volle Leistung wiederherstellen. Natürlich können Sie dem Speicher beliebige Cache-Festplatten hinzufügen. Dies können sehr schnell rotierende Festplatten oder SSD-Festplatten sein. Dies können natürlich sehr kleine Festplatten sein. In der realen Arbeit ist dies ein Ersatz für RAM :)

Unter Linux sollten Sie sich um ZFS kümmern, da nicht alle Funktionen ordnungsgemäß funktionieren. Dies gilt insbesondere für die Verwaltung des Dateisystems, die Erstellung von Snapshots usw. Wenn Sie jedoch eine Konfiguration vornehmen und diese nicht ändern, funktioniert alles ordnungsgemäß. Andernfalls sollten Sie Linux auf OpenSolaris umstellen, es unterstützt nativ ZFS :) Das Schöne an ZFS ist, dass es sowohl als Dateisystem als auch als Volume-Manager ähnlich wie LVM funktioniert. Sie benötigen es nicht, wenn Sie ZFS verwenden. Weitere Informationen finden Sie in der Dokumentation.

Beachten Sie den Unterschied zwischen ZFS und BTRFS. ZFS ist älter und ausgereifter, leider nur unter Solaris und OpenSolaris (leider von Oracle erwürgt). BTRFS ist jünger, aber letztes Mal sehr gut unterstützt. Ich empfehle frischen Kernel. ZFS verfügt über eine Online-Deduplizierung, die das Schreiben verlangsamt, da alles online berechnet wird. BTRFS unterstützt die Offline-Deduplizierung. Dies spart dann Leistung, aber wenn der Host nichts zu tun hat, führen Sie regelmäßig ein Tool aus, um die Deduplizierung durchzuführen. Und BTRFS wird nativ unter Linux erstellt. Vielleicht ist das bessere FS für dich :)

Harte Links sind möglicherweise nicht die beste Idee. Wenn ein Benutzer die Datei ändert, wirkt sich dies auf beide aus. Durch das Löschen eines festen Links werden jedoch nicht beide Dateien gelöscht. Außerdem bin ich mir nicht ganz sicher, ob Hard Links den gleichen Speicherplatz (auf der Festplatte, nicht auf dem Betriebssystem) belegen wie mehrere Kopien derselben Datei. Laut Windows (mit der Link Shell Extension) tun sie dies. Zugegeben, das ist Windows, nicht Unix ...

Meine Lösung wäre, eine "gemeinsame" Datei in einem versteckten Ordner zu erstellen und die tatsächlichen Duplikate durch symbolische Links zu ersetzen. Dann würden die symbolischen Links mit Metadaten oder alternativen Dateistreams eingebettet, die jedoch nur die beiden "Dateien" aufzeichnen. unterscheiden sich voneinander, zum Beispiel, wenn eine Person den Dateinamen ändern oder ein benutzerdefiniertes Albumcover oder ähnliches hinzufügen möchte; Es kann sogar außerhalb von Datenbankanwendungen nützlich sein, z. B. wenn mehrere Versionen desselben Spiels oder derselben Software installiert sind und diese unabhängig voneinander getestet werden, selbst wenn die kleinsten Unterschiede bestehen.

Am einfachsten ist es, das Spezialprogramm dupeGuru zu verwenden

wie die Dokumentation sagt

Löschoptionen

Diese Optionen wirken sich auf das Löschen von Duplikaten aus. In den meisten Fällen müssen Sie keine von ihnen aktivieren.

Gelöschte Dateien verlinken:

Die gelöschten Dateien werden durch einen Link zur Referenzdatei ersetzt. Sie haben die Wahl, es entweder durch einen Symlink oder einen Hardlink zu ersetzen. ... Ein Symlink ist eine Verknüpfung zum Dateipfad. Wenn die Originaldatei gelöscht oder verschoben wird, ist die Verknüpfung unterbrochen. Ein Hardlink ist ein Link zur Datei selbst. Dieser Link ist so gut wie eine "echte" Datei. Nur wenn alle Hardlinks zu einer Datei gelöscht sind, wird die Datei selbst gelöscht.

Unter OSX und Linux wird diese Funktion vollständig unterstützt, unter Windows ist sie jedoch etwas kompliziert. Windows XP unterstützt es nicht, aber Vista und höher unterstützen es. Damit die Funktion jedoch funktioniert, muss dupeGuru mit Administratorrechten ausgeführt werden.