Was ist der schnellste und zuverlässigste Weg, um viele Dateien zu übertragen?

Ich versuche, ungefähr 100.000 Dateien mit einer Gesamtgröße von 90 GB zu übertragen. Im Moment verwende ich den rsync-Daemon, aber er ist langsam mit 3,4 MB / s und ich muss dies einige Male tun. Ich frage mich, welche Optionen ich habe, um eine 100-MBit-Verbindung über das Internet zu maximieren und sehr zuverlässig zu sein.

Hast du über Sneakernet nachgedacht ? Bei großen Datenmengen ist der Versand über Nacht oft schneller und billiger als die Übertragung über das Internet.

Wie? Oder TL; DR

Die schnellste Methode , die ich gefunden habe , ist eine Kombination aus tar, mbufferund ssh.

Z.B:

tar zcf - bigfile.m4p | mbuffer -s 1K -m 512 | ssh otherhost "tar zxf -"

Auf diese Weise habe ich dauerhafte lokale Netzwerkübertragungen über 950 Mbit / s auf 1-Gbit-Verbindungen erreicht. Ersetzen Sie die Pfade in jedem tar-Befehl so, dass sie für die Übertragung geeignet sind.

Warum? mbuffer!

Der größte Engpass bei der Übertragung großer Dateien über ein Netzwerk ist bei weitem die Festplatten-E / A. Die Antwort darauf lautet mbufferoder buffer. Sie sind weitgehend ähnlich, haben aber mbuffereinige Vorteile. Die Standardpuffergröße beträgt 2 MB für mbufferund 1 MB für buffer. Größere Puffer sind mit größerer Wahrscheinlichkeit niemals leer. Wenn Sie eine Blockgröße auswählen, die das niedrigste gemeinsame Vielfache der nativen Blockgröße sowohl im Ziel- als auch im Zieldateisystem ist, erzielen Sie die beste Leistung.

Buffering ist die Sache , die macht alle den Unterschied! Verwenden Sie es, wenn Sie es haben! Wenn Sie es nicht haben, holen Sie es sich! Mit (m}?bufferPlus alles ist besser als alles , was von selbst aus . Es ist fast buchstäblich ein Allheilmittel für langsame Netzwerk-Dateiübertragungen.

Wenn Sie mehrere Dateien übertragen, verwenden Sie diese, tarum sie zu einem einzigen Datenstrom zusammenzufassen. Wenn es sich um eine einzelne Datei handelt, können Sie eine catE / A-Umleitung verwenden. Der Overhead von tarvs. catist statistisch unbedeutend, daher verwende ich immer tar(oder zfs -sendwo ich kann), es sei denn, es ist bereits ein Tarball . Keines von diesen liefert garantiert Metadaten (und wird dies insbesondere catnicht tun). Wenn Sie Metadaten möchten, lasse ich das als Übung für Sie.

Schließlich ist die Verwendung sshfür einen Transportmechanismus sowohl sicher als auch mit sehr geringem Aufwand verbunden. Auch hier ist der Overhead von sshvs. ncstatistisch nicht signifikant.

Sie erwähnen "rsync", also gehe ich davon aus, dass Sie Linux verwenden:

Warum erstellen Sie keine tar- oder tar.gz-Datei? Die Netzwerkübertragungszeit einer großen Datei ist schneller als bei vielen kleinen. Sie können es sogar komprimieren, wenn Sie möchten ...

Teer ohne Kompression:

Auf dem Quellserver:

tar -cf file.tar /path/to/files/

Dann auf der Empfangsseite:

cd /path/to/files/
tar -xf /path/to/file.tar

Teer mit Kompression:

Auf dem Quellserver:

tar -czf file.tar.gz /path/to/files/

Dann auf der Empfangsseite:

cd /path/to/files/
tar -xzf /path/to/file.tar.gz

Sie würden einfach rsync verwenden, um die eigentliche Übertragung der (tar | tar.gz) -Dateien durchzuführen.

Sie könnten versuchen , die tarund sshTrick beschrieben hier :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "dd of=/backup/wwwdata.tar.gz"

Dies sollte wie folgt umschreibbar sein :

tar cvzf - /wwwdata | ssh root@192.168.1.201 "tar xvf -"

Sie würden jedoch die --partialFunktionen von dabei verlieren rsync. Wenn sich die Dateien nicht sehr häufig ändern, kann rsynces sich sehr lohnen , mit einer langsamen Initiale zu leben, da dies in Zukunft viel schneller gehen wird.

Sie können verschiedene Komprimierungsoptionen von rsync verwenden.

-z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with suffix in LIST

Das Komprimierungsverhältnis für Binärdateien ist sehr niedrig, daher können Sie diese Dateien mit --skip-compress überspringen, z. B. ISO, bereits archivierte und komprimierte Tarballs usw.

Ich bin ein großer Fan von SFTP. Ich verwende SFTP, um Medien von meinem Hauptcomputer auf meinen Server zu übertragen. Ich bekomme gute Geschwindigkeiten über LAN.

SFTP ist zuverlässig, ich würde es versuchen, da es einfach einzurichten ist und in einigen Fällen schneller sein kann.