Welche Archivdateiformate bieten Wiederherstellungsschutz gegen Dateibeschädigung?

10

Ich verwende meine externe Festplatte, um meine Dateien zu sichern, indem ich sie in große Archivdateien lege.

Ich habe Tausende winziger Dateien und lege sie in Archive mit einer Größe von 500 MB bis 4,2 GB, bevor ich sie an die externe Festplatte sende. Aber zerstört ein Festplattenfehler das gesamte Archiv oder nur eine Datei im Archiv? Ich befürchte, dass ein umgedrehtes Bit große Teile des Archivs unbrauchbar machen könnte.

Dinge wie CRC-Überprüfungen können Sie auf das Vorhandensein von Beschädigungen aufmerksam machen, aber ich bin mehr an der Möglichkeit interessiert, die unbeschädigten Dateien aus einem beschädigten Archiv wiederherzustellen. Welche Archivdateiformate bieten die beste Möglichkeit, solche Fehler zu beheben, entweder durch das native Design der Archivstruktur oder durch das Vorhandensein zusätzlicher Wiederherstellungstools? Gibt es einen Unterschied in dieser Funktion zwischen Zip- und ISO-Dateien?

— Sevenkul
quelle

Ich weiß, dass mindestens eines der Programme, die ich für die Dateisynchronisierung verwende, das Multithread-Kopieren unterstützt, was meiner Meinung nach die Langsamkeit beim Kopieren vieler kleiner Dateien verringert. Auch wenn ich testen müsste, um sicherzugehen, habe ich den Verdacht, dass das Erstellen eines Archivs mit vielen kleinen Dateien auch länger dauern würde als das Erstellen eines Archivs für mehrere große Dateien, selbst wenn keine Komprimierung verwendet wird. Ich kann mich nicht erinnern, ob dies ein Windows-Problem ist oder nicht. iirc, es gibt einige Softwarelösungen für Linux, die viele kleine Dateien in Blöcken verarbeiten können, aber ich kann mich nicht an die Details erinnern.

— JAB

Bitte öffnen Sie die Frage erneut. Ich habe es umformuliert, und es sollte jetzt klarer sein. "Best" wird immer etwas meinungsbasiert sein, aber die Anforderung, hier am besten zu sein, ist ganz klar. Wenig Raum für persönliche Meinungen IMHO. Bitte löschen Sie diesen Kommentar nach dem erneuten Öffnen.

— Marcel

8

Angesichts der Tatsache, dass eine Beschädigung eines Verzeichnisteils eines Archivs möglicherweise das gesamte Archiv unbrauchbar machen könnte, ist es am besten, Ihrem Sicherungsprozess einen separaten Schritt hinzuzufügen, um sogenannte Paritätsdateien zu generieren . Falls ein Datenblock in der Originaldatei beschädigt wird, kann er rekonstruiert werden, indem Daten aus der Paritätsdatei mit gültigen Blöcken aus der Originaldatei kombiniert werden.

Die Variable dort wäre, wie viel Schaden Sie reparieren möchten. Wenn Sie vor einem einzelnen Bit-Flip schützen möchten, ist Ihre Paritätsdatei nur 1 Bit groß. Wenn Sie etwas in einer Größenordnung des Festplattensektors möchten, kostet es Sie offensichtlich mehr.

Dahinter steckt eine große Theorie (siehe Vorwärtsfehlerkorrektur ), die in der Praxis weit verbreitet ist. Auf diese Weise können CDs beispielsweise einem gewissen Grad an Kratzern standhalten und Mobiltelefone können über verlustbehaftete Verbindungen eine angemessene Anrufqualität aufrechterhalten.

Lange Rede, kurzer Sinn, schauen Sie sich die .parDateien an.

— Angstrom
quelle

1

Vielen Dank, während ich Paritätsdateien durchsuchte, fand ich, dass WinRARs Wiederherstellungsdatensatz im täglichen Gebrauch einfacher ist. Ich werde auch QuickPar ausprobieren.

— Sevenkul

2

Ein Bit Fehlerkorrekturdaten reicht nicht aus, um einen Ein-Bit-Fehler in Ihrer n-Bit- Datendatei zu reparieren . Sie konnten erkennen , einen solchen Fehler mit einem einzigen Bit, aber es zu reparieren, müssen Sie mindestens log n Bits.

— Thom Smith

4

Bup [1] sichert Dinge und fügt automatisch Paritätsredundanz hinzu, was Bit-Rot äußerst unwahrscheinlich macht. Ein katastrophaler Festplattenausfall ist immer noch eine Sache, daher können wir ihn mit git-annex verwenden.

git-annex [2] verwaltet Dateien, die in vielen Repositorys gespeichert sind, von denen einige möglicherweise auf Ihrem Computer, USB-Sticks, SSH-Login, einigen Cloud-Diensten oder einem Bup-Backup-Repository [3] gespeichert sind, sodass die Dateidaten nahezu transparent fließen auf Anfrage oder automatisch in das von Ihnen festgelegte Repository. Es ist auch ein Crowd-Funded-Free- und Open-Source-Softwareprojekt, das in Haskell mit Versionen geschrieben wurde, die auf vielen Plattformen laufen, einschließlich Linux, Mac, Windows und Android.

[1] https://github.com/bup/bup

[2] http://git-annex.branchable.com/

[3] http://git-annex.branchable.com/special_remotes/bup/

— Yuval Langer
quelle

3

Aber zerstört ein Festplattenfehler das gesamte Archiv oder nur eine Datei im Archiv?

Wenn es wirklich keine Alternative gibt, alles als ein einziges großes Archiv zu kopieren, müssen Sie sich wahrscheinlich zwischen der Verwendung eines komprimierten oder eines unkomprimierten Archivs entscheiden.

Der Inhalt von nicht komprimierten Archiven wie Tarballs kann mit der Dateiwiederherstellungssoftware auch dann erkannt werden, wenn die Archivdatei selbst nicht mehr gelesen werden kann (z. B. aufgrund eines beschädigten Headers).

Die Verwendung komprimierter Archive kann gefährlich sein, da einige das Extrahieren von Dateien ablehnen können, wenn ein Prüfsummenfehler auftritt, der verursacht werden kann, selbst wenn sich nur ein Bit der Archivdatei ändert.

Natürlich kann man das Risiko minimieren, indem man nicht Hunderte von Dateien in einem komprimierten Archiv, sondern Hunderte von komprimierten Dateien in einem unkomprimierten Archiv speichert.

gzip *
tar cf archive.tar *.gz

Obwohl ich noch nie zuvor viele gezippte Dateien in einem Tarball in Wildtieren gesehen habe. Nur das Gegenteil ist beliebt (dh tar.gz-Dateien).

Gibt es einen Unterschied zwischen Zip- und ISO-Dateien?

ZIP ist ein (meistens, aber nicht unbedingt) komprimiertes Archiv, und ISO ist ein Format, das Rohdaten angibt, die auf niedriger Ebene von einer optischen Festplatte in eine Datei kopiert wurden. Letzteres kann buchstäblich alles enthalten.

— Dulange
quelle