Unix & Linux deduplication

19

Gibt es eine einfache Möglichkeit, doppelte Dateien durch Hardlinks zu ersetzen?

Ich suche nach einer einfachen Möglichkeit (einem Befehl oder einer Reihe von Befehlen, die wahrscheinlich einschließen find), um doppelte Dateien in zwei Verzeichnissen zu finden und die Dateien in einem Verzeichnis durch Hardlinks der Dateien im anderen Verzeichnis zu ersetzen. Hier ist die Situation: Dies ist ein Dateiserver, auf dem …

136 files hard-link deduplication duplicate-files

1

Wie dupliziere ich eine Datei, ohne ihre Daten mit btrfs zu kopieren?

Ich habe keine Erfahrung mit btrfs, aber es wird angekündigt, dass es möglich ist, Dateien zu de-duplizieren. In meiner Anwendung müsste ich ganze Verzeichnisbäume duplizieren. Nach dem, was ich gelernt habe, wird btrfs nur in einigen Post-Scan-Vorgängen dupliziert, nicht sofort. Sogar die bloße Verwendung cpscheint keine Deduplizierung auszulösen ( dfzeigt …

14 cp file-copy btrfs deduplication

2

Gibt es Deduplizierungsskripte, die btrfs CoW als Dedup verwenden?

Auf der Suche nach Deduplizierungswerkzeugen unter Linux gibt es viele, siehe z . B. diese Wiki-Seite . Fast alle Skripte erkennen entweder nur die doppelten Dateinamen oder entfernen doppelte Dateien, indem sie mit einer einzelnen Kopie verknüpft werden. Mit dem Aufstieg von btrfs würde es eine andere Option geben: das …

9 btrfs deduplication

4

Wie finde ich doppelte Zeilen in vielen großen Dateien?

Ich habe ~ 30k Dateien. Jede Datei enthält ~ 100.000 Zeilen. Eine Zeile enthält keine Leerzeichen. Die Zeilen innerhalb einer einzelnen Datei werden sortiert und frei dupliziert. Mein Ziel: Ich möchte alle doppelten Zeilen in zwei oder mehr Dateien sowie die Namen der Dateien finden, die doppelte Einträge enthalten. Eine …

8 shell-script text-processing performance large-files deduplication

1

Tar-Archiv (oder ein anderes Archiv) mit Datenblock-Ausrichtung wie in Originaldateien für eine bessere Deduplizierung auf Blockebene erstellen?

Wie kann man eine TAR-Datei generieren, damit der Inhalt geteerter Dateien wie in den Originaldateien blockausgerichtet ist, sodass man von einer Deduplizierung auf Blockebene profitieren kann ( https://unix.stackexchange.com/a/208847/9689 ) ? ? (Stimmt es, dass das Tar-Format nichts Eigenes enthält, das uns daran hindert, einen solchen Nutzen zu erzielen? Andernfalls, wenn …

8 btrfs archive deduplication

5

Entfernen Sie doppelte Zeilen aus einer Datei, die einen Zeitstempel enthält

Diese Frage / Antwort bietet einige gute Lösungen zum Löschen identischer Zeilen in einer Datei, funktioniert jedoch in meinem Fall nicht, da die ansonsten doppelten Zeilen einen Zeitstempel haben. Ist es möglich, awk anzuweisen, die ersten 26 Zeichen einer Zeile bei der Ermittlung von Duplikaten zu ignorieren? Beispiel: [Fri Oct …

8 text-processing awk duplicate deduplication

2

Deduplizierung auf Partitionsebene

Welche Lösungen stehen für Blockebenen oder detailliertere Deduplizierungen zur Verfügung? Es gibt dateibasierte - mit dem "Copy-On-Write" -Ansatz. Ich suche nach "Copy-on-Write" auf Blockebene, damit ich regelmäßig nach allgemeinen Blöcken oder - vorzugsweise - Teilen von Dateien suchen, diese zusammenführen und für die CoW-Verwendungsweise kennzeichnen kann. Gibt es so etwas …

8 filesystems deduplication

2

Wie finde ich Datenkopien einer bestimmten Datei im Btrfs-Dateisystem?

Ich habe mein Btrfs-Dateisystem mit Bedup dedupliziert, daher sind jetzt alle doppelten Dateien (über einer bestimmten Größe) "Reflink" -Kopien. Gibt es eine Möglichkeit, unter Berücksichtigung eines Dateinamens zu sehen, welche anderen Dateien dieselben Reflinks sind?

7 btrfs deduplication

Als «deduplication» getaggte Fragen