Übertragen Sie 10 TB an Dateien aus den USA in das britische Rechenzentrum

Ich migriere meinen Server von einem Rechenzentrum in ein anderes von den USA nach Großbritannien. Mein Gastgeber sagte, ich sollte in der Lage sein, 11 Megabyte pro Sekunde zu erreichen.

Das Betriebssystem ist Windows Server 2008 an beiden Enden.

Meine durchschnittliche Dateigröße beträgt ca. 100 MB und die Daten werden auf fünf 2-TB-Laufwerke aufgeteilt.

Was wäre der empfohlene Weg, um diese Dateien zu übertragen?

• FTP
• SMB
• Rsync / Robocopy
• Andere?

Ich mache mir keine Sorgen um die Sicherheit, da es sich sowieso um öffentliche Dateien handelt, aber ich möchte nur eine Lösung, die die volle Übertragungsrate von 11 MB / s erreichen kann, um die Gesamtübertragungszeit zu minimieren.

Versenden Sie stattdessen Festplatten über den Ozean.

Bei 11 Mbit / s und voller Auslastung haben Sie nur knapp 90 Tage Zeit, um 10 TB zu übertragen.

11 MBit / s = 1,375 MBit / s = 116,015 GB / Tag .

10240 GB / 116,015 GB / Tag = ~ 88,3 Tage .

Ich würde sagen rsync, bei 11 MB / s sehen Sie 10-14 Tage und selbst wenn Sie unterbrochen werden, startet rsync leicht dort, wo es das letzte Mal gestoppt hat.

Bei 11 Mbit / s würde ich die Festplatten wie oben vorgeschlagen ausliefern :)

Rsync natürlich.

Zumindest kannst du nach einer Pause jederzeit weitermachen, und das ohne Schmerzen.

Unterschätzen Sie niemals die Bandbreite eines Kombis voller Bänder

- Trad.

In Ihrem Fall werden Disketten oder Bänder per Kurier verschickt, aber das Prinzip gilt immer noch. Wenn Sie sich keine Gedanken über die Latenz machen, ist dies erheblich billiger als die Netzwerkbandbreite, um 10 TB Daten in einem angemessenen Zeitraum zu übertragen.

Sie sollten rsync verwenden. Es komprimiert die Daten und dupliziert sie vor dem Senden. Es kann auch Teilübertragungen wieder aufnehmen, was für große Übertragungen sehr wichtig ist.

Es ist wahrscheinlich, dass 10 TB nicht übertragen werden. Wenn es sich um Protokolle und Text handelt, kann dies unter 1 TB liegen. vielleicht weit unter 1 TB.

Es gibt Tools, die eine bessere Komprimierung als rsync erzielen und wahrscheinlich mehr Übereinstimmungen finden. Sie könnten verwenden lrzip, etc.

Es gibt bestimmte Datentypen, die nicht gut komprimiert werden und keine wörtlichen Dupes enthalten, z. B. Videos und andere Medien. In diesen Fällen machen FTP und rsync fast den gleichen Aufwand.

Ich weiß, dass dies bereits akzeptiert wird, aber haben Sie darüber nachgedacht, Ihre Festplatten zu einem Rechenzentrum / Provider / Host zu bringen, wo Sie mehr Bandbreite erhalten können? Es kostet Sie wahrscheinlich etwas Geld, aber das Kopieren von 10240 GB auf Sicherungsdisketten und das Senden von kostet Zeit und Geld (2 x Geld).

Außerdem können Sie sicher sein, dass Ihre Festplatten den Transport nicht unterbrechen.

11 Mbit / s? Dies ist eine ziemliche Einschränkung, die Sie hier haben. In deiner Situation würde ich einfach:

• Klonen Sie die Daten
• Komprimiere es
• Mieten Sie Server an beiden Enden mit mindestens zehnmal mehr Bandbreite (in denselben Rechenzentren oder an Ihrem Ende in einem Rechenzentrum in Ihrer Nähe).
• Übertragen Sie die Dateien
• Übernehmen Sie die Daten auf den neuen Server.

Wenn Sie wirklich keine Lösung haben, um die Bandbreite zu erhöhen, ist der Versand eines physischen Laufwerks viel schneller.

Aus meiner schmerzhaften Erfahrung neigen Festplatten dazu, die Post zu beschädigen ... USB-Sticks sind eine bessere Lösung für häufige Datenübertragungen. In Ihrem Fall wären einige erforderlich :) Senden Sie also 2 Kopien Ihrer Daten auf mehrere Festplatten.

In Anbetracht der Datenmenge, die Sie haben, können Sie auch Laufwerke von einem RAID 5- oder RAID 6-Array senden, wenn Sie auf der anderen Seite dieselbe Hardware / Software zum Anschließen Ihrer Laufwerke haben. In diesem Fall müssen Sie jedoch die Reihenfolge Ihrer Laufwerke angeben und ihre Seriennummern, damit sie bei der Neukonfiguration nicht durcheinander geraten.

Während ich mich in diesem Fall auf die Antwort "Versand über Festplatten" einigen muss, verwende ich hier eine Kopierlösung, wenn ich zum ersten Mal große Mengen von Dateien kopieren muss:

Es rsyncist zwar gut, zwei Datenspeicher synchron zu halten, es verursacht jedoch eine Menge unnötigen Overhead für die anfängliche Übertragung. Ich dachte mir, dass der schnellste Weg der ist, zu tardem weitergeleitet wird netcat. Auf der Empfängerseite können Sie auch netcatim Listen- Modus die eingehenden Daten einer Extraktion zuführen tar. Der Vorteil besteht darin, dass das tarSenden sofort beginnt und netcatals einfacher TCP-Stream ohne zusätzlichen Protokollaufwand auf höherer Ebene gesendet wird. Dies sollte so schnell wie möglich sein. Es ist jedoch nicht einfach möglich, eine unterbrochene Übertragung an der letzten Position neu zu starten.

Es ist auch einfach möglich, die Daten für die Übertragung zu komprimieren, indem Sie die richtigen tarOptionen verwenden oder ein Komprimierungswerkzeug in die Pipes einfügen. Beachten Sie, dass netcatdas Datum unverschlüsselt gesendet wird. In Fällen, in denen dies nicht möglich ist, sshkann stattdessen eine verschlüsselte Verbindung verwendet werden ( tar <options> | ssh <target> -c 'tar -x <options>').

Wenn alle Daten übertragen werden, rsynckönnen Sie sicherstellen, dass alle zwischenzeitlich aktualisierten Dateien synchronisiert werden. Auch IIRC erstellt tarkeine Sockets, die sonst verloren gehen, aber sie werden sowieso nicht wirklich für Datencenter-Daten verwendet.

Haben Sie an IPoAC gedacht ?

Eine einzelne Taube kann möglicherweise in einer Stunde Dutzende von Gigabyte an Daten transportieren, was im Vergleich zu den aktuellen ADSL-Standards im Durchschnitt eine sehr günstige Bandbreite darstellt, selbst wenn der Verlust von Laufwerken berücksichtigt wird.

Wieder ist der erste Vorschlag, die Laufwerke zu versenden.

Der zweite Vorschlag ist, rsync für rsyncd zu verwenden, nicht über SSH. Ich habe viele Dinge ausprobiert und es ist normalerweise das schnellste. Denken Sie daran, die Komprimierung zu aktivieren. Sehen Sie sich auch an, wie Sie die Größe des Rsync-Puffers erhöhen oder verringern , um die optimale Übertragungsrate zu erhalten. Es kann auch hilfreich sein, die MTU-Größe zu erhöhen . Dies hilft nur, wenn Router unterwegs Ihre Pakete nicht fragmentieren. Es gibt Möglichkeiten, um festzustellen, ob dies der Fall ist.

Leider gibt es keine Einstellung, die immer die beste ist. Sie müssen experimentieren, um herauszufinden, was in Ihrer Situation am besten funktioniert.

Sie haben erwähnt, dass auf den Servern Windows 2008 ausgeführt wird. Wäre Microsoft DFS geeignet? Am unteren Ende befindet sich etwas Magie, die versucht, so viel Bandbreite wie möglich aus der Verbindung herauszuholen, und außerdem über Komprimierung und Deduplizierung (IIRC) verfügt.

Wohlgemerkt, Festplatten, DVDs oder Blu-Rays wären schneller ... Meine Berechnung beträgt 11 Tage bei vollen 11 MB / s ...

Sie können dafür einen Torrent verwenden.

Erstellen Sie einen privaten Torrent an einem Ende und verwenden Sie den Client am anderen Ende.

Obwohl eine Verschlüsselung vorhanden ist, müssen Sie dies anhand Ihrer Anforderungen überprüfen.