Übertragen von ca. 300 GB in Dateien von einem Server auf einen anderen

Ich habe ungefähr 200.000 Dateien, die ich heute auf einen neuen Server übertrage. Ich habe noch nie so viel unternommen und wollte Ratschläge dazu bekommen, wie ich vorgehen soll. Ich bewege sie zwischen zwei Centos 6-Distributionen und sie befinden sich an verschiedenen Orten im Land. Ich habe nicht genügend Festplattenspeicher auf dem ursprünglichen Server, um alle Verzeichnisse und Dateien in einem großen Tarball zu speichern. Meine Frage ist also, wie ich all diese Dateien übertragen soll. rsync? eine spezielle Art der Verwendung von Rsync? Irgendwelche Eingaben / Vorschläge, wie man es macht, wären erstaunlich.

Vielen Dank

BEARBEITEN: Für diejenigen, die sich fragen, empfehle ich dringend die Verwendung eines, screenwenn Sie einen großen rsyncBefehl wie diesen ausführen . Besonders wenn etwas Dummes passieren kann und Sie die Verbindung zu dem Server A verlieren, von dem Sie den rsyncBefehl ausführen. Nehmen Sie dann einfach den Bildschirm ab und setzen Sie ihn später fort.

Nur um die Antwort von Simon zu verdeutlichen , rsyncist es das perfekte Werkzeug für diesen Job:

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

Angenommen, Sie haben ssh-Zugriff auf den Remote-Computer, möchten Sie Folgendes tun:

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

Dadurch wird das Verzeichnis kopieren , path/to/local/fooum /path/to/remote/barauf dem Remote - Server. Ein neues Unterverzeichnis mit dem Namen bar/foowird erstellt. Wenn Sie nur den Inhalt eines Verzeichnisses kopieren möchten , ohne ein Verzeichnis mit diesem Namen auf dem Ziel zu erstellen, fügen Sie einen abschließenden Schrägstrich hinzu:

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

Dadurch wird der Inhalt von foo/in das Remote-Verzeichnis kopiert bar/.

Einige relevante Optionen:

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

Dies hängt davon ab, wie schnell kopiert werden muss und wie viel Bandbreite zur Verfügung steht.

Berücksichtigen Sie bei einer schlechten Netzwerkverbindung die Bandbreite eines mit Bändern gefüllten Lastwagens. (Lesen Sie: Senden Sie eine 2,5-Zoll-Festplatte per Post oder fahren Sie sie dort selbst. 300-Gigabit-Laufwerke sollten leicht zu finden sein.)

Wenn es weniger zeitkritisch ist oder Sie viel Bandbreite haben, ist rsync großartig. Wenn ein Fehler auftritt, können Sie einfach fortfahren, ohne die früheren Dateien erneut zu kopieren.

[Bearbeiten] Ich habe vergessen hinzuzufügen, dass Sie rsync mehrmals ausführen können, wenn Ihre Daten während des Kopierens verwendet werden.

Beispiel:
1) Verwendete Daten. Rsync -> Alle Daten werden kopiert. Das kann ein bisschen dauern.
2) Führen Sie rsync erneut aus. Es werden nur die geänderten Dateien kopiert. Das sollte schnell gehen.

Sie können dies mehrmals tun, bis keine Änderungen mehr vorgenommen wurden, oder Sie können dies auf intelligente / sichere Weise tun, indem Sie die Daten während des Kopiervorgangs schreibgeschützt machen. (Wenn es sich beispielsweise um ein verwendetes freigegebenes Set handelt, dessen Freigabe schreibgeschützt ist. Oder synchronisieren Sie die Daten, und legen Sie nachts die Freigabe schreibgeschützt fest, während Sie sie ein zweites Mal ausführen.)

Ich würde für Rsync gehen! Ich verwende es, um meinen Server auf einem externen Server zu sichern, und es funktioniert einwandfrei. Normalerweise müssen ein paar MB kopiert werden, aber an manchen Tagen sind es 20 bis 30 GB, und es hat immer problemlos funktioniert.

Rsync über NFS mit Gigabit-Verbindung dauert fast 10 Stunden. Es ist besser, Daten auf die Festplatte zu kopieren und zwischen den Servern zu verschieben. Wenn Sie eine Eins-zu-Eins-Kopie der tatsächlichen Festplatte erstellen müssen, verwenden Sie dd oder ähnliches, um ein unformatiertes Image der Festplatte zu erstellen. Die Verwendung von ssh (scp) verursacht einen enormen Overhead. Empirisch getestet auf Gigabit-Verbindung. Mit rsync kann eine inkrementelle Synchronisierung zwischen zwei Servern durchgeführt werden, die im Hochverfügbarkeitsmodus oder im Sicherungsmodus verwendet werden. Ich vermute.

Erstmalige Verwendung von NFS und tar / untar (NFS ist in diesem Fall das schnellste Protokoll, tar, um Netzwerkbandbreite durch höhere CPU-Auslastung zu sparen.)

tar cf - * | ( cd /target; tar xfp -)

Verwenden Sie das nächste Mal / s rsync