Linux zu Linux, 10 TB Transfer?

9

Ich habe mir alle vorherigen ähnlichen Fragen angesehen, aber die Antworten schienen überall zu sein und niemand hat viele Daten verschoben (100 GB unterscheiden sich von 10 TB).

Ich habe ungefähr 10 TB, die ich brauche, um von einem RAID-Array zu einem anderen zu wechseln, Gigabit-Ethernet, die freie Enzyklopädie, XFS- Dateisysteme. Meine größte Sorge ist, dass der Transfer auf halbem Weg stirbt und nicht einfach wieder aufgenommen werden kann. Geschwindigkeit wäre schön, aber es ist viel wichtiger, die Übertragung sicherzustellen.

Normalerweise würde ich nur tar & netcat verwenden, aber das RAID-Array, von dem ich mich bewege, war in letzter Zeit sehr unzuverlässig, und ich muss in der Lage sein, es wiederherzustellen und fortzusetzen, wenn es während des Prozesses abfällt. Sollte ich mir rsync ansehen ?

Wenn ich mir das etwas genauer anschaue, denke ich, dass rsync möglicherweise zu langsam ist, und ich möchte vermeiden, dass dies 30 Tage oder länger dauert . Jetzt suche ich nach Vorschlägen, wie die Übertragung mit netcat überwacht / fortgesetzt werden kann .

— verlorener Code
quelle

Ich muss manchmal große Dateiübertragungen durchführen (aber nicht 10 TB;). Rsync hat viele Flags. Einige davon können sich auf die Leistung einer großen Dateiübertragung auswirken (ich denke, --checksum und --archive können Sie beispielsweise verlangsamen würde einen großen Unterschied machen, wenn 10 TB übertragen werden.). Kann jemand gute Optionen empfehlen, um die Leistung einer so großen Dateiübertragung zu optimieren? Würde Tuning --block-size=SIZEhelfen?

— Stefan Lasiewski

Gibt es überhaupt eine Möglichkeit, den SSH-Overhead zu entfernen?

— Lostincode

1

rsyncd auf Ihrer Empfangsseite einrichten? keine Notwendigkeit für ssh

— cpbills

3

Führen Sie einen rsync-Daemon auf der empfangenden Seite sowie den Client auf der sendenden Seite aus.

— Bis auf weiteres angehalten.

2

Wenn Sie keinen rsync-Daemon auf einer Seite einrichten können und nicht mit SSH arbeiten können, können Sie den Verschlüsselungsaufwand durch eine weniger gute Verschlüsselung reduzieren, z. B.: Rsync -avz -e 'ssh -c arcfour' SOURCE DEST

— David

14

yep, rsync

Außerhalb von Oddball wurden kürzlich die asynchronen Funktionen von DRBD veröffentlicht.

— Kagenut
quelle

1

+1 für Rsync. König der System-zu-System-Übertragungen unter Linux.

— Grufftech

+1, rsync (und das Windows-Gegenstück DeltaCopy) sind das Ende einer effizienten generischen Dateiduplizierung von Server zu Server.

— Chris S

1

+1 für rsync, aber ich möchte hinzufügen, dass es möglicherweise schneller ist, dies "lokal" über einen NFS-Mount zu tun, anstatt den Overhead für das rsync- oder SSH-Protokoll zu verursachen.

— James Sneeringer

2

Unterschätzen Sie niemals die Bandbreite eines Kombis voller Bänder. 10 TB wären mit relativ billigen NAS-Geräten für Endverbraucher möglich, wenn Sie sie in Blöcke (z. B. 2 TB) aufteilen können. Wenn dies einmalig ist, kann ein halbmanueller Prozess ausgeführt werden, und ein 2-TB-NAS kostet nur ein paar hundert Dollar.

Wenn Sie einen laufenden Prozess benötigen, können Sie RSYNC nach der ersten Übertragung einrichten.

— ConcernedOfTunbridgeWells
quelle

In der ursprünglichen Frage wurde erwähnt, dass dies bereits über ein lokales Netzwerk erfolgt.

— Ladadadada

1

Was für die Zwecke des OP zu langsam und / oder unzuverlässig erscheint.

— ConcernedOfTunbridgeWells

2

Ich musste diese Art von Aufgabe vor einigen Monaten erledigen. Ich habe parallel rsync verwendet, um den Prozess zu beschleunigen. Es teilt die zu übertragenden / zu synchronisierenden Dateien in Blöcke auf und kann jederzeit fortgesetzt werden. Siehe Link unten für paralleles rsync-Skript.

https://gist.github.com/rcoup/5358786

— Pierre Bergdolt
quelle

0

Sie können versuchen, einen FTP-Server auf dem Server mit den zu kopierenden Daten einzurichten und einen FTP-Client mit "Resume" auf der Empfangsseite zu verwenden. Ich benutze Filezilla Server und Client und ich benutze die "Resume" -Funktion des Clients ziemlich oft und es hat immer ohne Probleme funktioniert.

— jamesbtate
quelle