Unix & Linux rsync

6

Parallelisieren Sie Rsync mit GNU Parallel

Ich habe ein rsyncSkript verwendet, um Daten auf einem Host mit den Daten auf einem anderen Host zu synchronisieren. Die Daten enthalten zahlreiche kleine Dateien, die zu fast 1,2 TB beitragen. Um diese Dateien zu synchronisieren, habe ich den rsyncBefehl wie folgt verwendet: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects …

18 linux rhel rsync gnu-parallel

1

Beste Methode zum Synchronisieren von Dateien - Kopieren Sie nur vorhandene Dateien und nur, wenn diese NEUER als das Ziel sind

Ich mache diese Synchronisation lokal unter Ubuntu 12.04. Die Dateien sind in der Regel kleine Textdateien (Code). Ich möchte mtime stamp aus dem sourceVerzeichnis in kopieren (beibehalten) , targetaber ich möchte nur kopieren, wenn die Datei in target bereits vorhanden und älter als die in ist source. Ich kopiere also …

18 rsync backup file-copy synchronization

1

Rsync rekursiv mit einer bestimmten Tiefe von Unterordnern

Ich möchte rsynceinen Ordner rekursiv, aber Unterordner sollen nur bis zu einer bestimmten Tiefe enthalten sein. Zum Beispiel möchte ich eine Tiefe von 1,2,3 oder 4 Unterordnern wie folgt: source/ ├── subfolder 1 │ ├── subsubfolder │ │ ├── subsubsubfolder │ │ │ └── wanted with depth 4.txt │ │ …

17 shell directory rsync recursive

4

Warum nicht immer rsync benutzen?

Ich wollte fragen, gibt es einen Grund, nicht rsyncfür alles zu verwenden und aufzugeben cp? Ich wusste rsynces nicht und weiß jetzt nicht, warum cpes jemals gebraucht wird.

17 linux rsync cp

3

Dateien verschieben und Verzeichnisse mit rsync löschen?

Vor kurzem musste ich eine große Anzahl von Dateien löschen (über 1 Million) und habe Folgendes gelesen: rsync -av --delete `mktemp -d`/ ~/source && rmdir ~/source War eine der optimiertesten Möglichkeiten, das zu tun, und ich kann dafür bürgen, dass es schneller ist als rm -rf. Ich bin kein Experte …

17 bash files rsync rm synchronization

3

So erzwingen Sie das Überschreiben nicht leerer Verzeichnisse mit `mv`

Ich möchte eine Gruppe von Dateien / Verzeichnissen in ein anderes Verzeichnis verschieben (nicht nur kopieren), von denen einige Namenskonflikte mit Dateien / Verzeichnissen im Zielverzeichnis aufweisen. Mein Hauptziel ist das Verschieben der Dateien, damit ich das Überschreiben des nicht leeren Verzeichnisses tolerieren kann. Ich benutze derzeit mv ... destinationaber …

17 files rsync rename

2

rsync ist sehr langsam (Faktor 8 bis 10) im Vergleich zu cp beim Kopieren von Dateien von nfs-share in das lokale Verzeichnis

Ich habe einen frisch installierten Ubuntu-Server, der der neue Backup-Server für unseren VM-Speicher sein soll. Der Server verfügt über 4 Netzwerkkarten, davon 2 mit 10 Gbit (tatsächlich eine Intel x540-T2 mit dem neuesten verfügbaren Treiber), die für die Verbindung zum SAN verwendet werden. Ich habe die NFS-Freigabe lokal gemountet und …

17 ubuntu rsync performance cp

2

rsync: Dateien überspringen, für die ich keine Berechtigungen habe

Ich benutze, rsync -rlptDum ein Verzeichnis von einem anderen Benutzer zu kopieren. Es gibt einige Dateien (ich habe keine Möglichkeit, diese im Voraus zu kennen), die ich nicht kopieren darf. Gibt es eine Möglichkeit, rsync diese zu ignorieren. Das Problem ist, dass mein Bash-x-Skript beendet wird, wenn rsync einen Wert …

16 permissions rsync error-handling

1

Erstellen eines Fortschrittsbalkens mit "dialog" aus der rsync-Ausgabe

Ich suche nach einer Möglichkeit, die rsync-Ausgabe so zu filtern / umzuleiten, dass sie dem Befehl "dialog --gauge" zugeführt werden kann, damit ich während der Dateisynchronisierung einen gut aussehenden Fortschrittsbalken bekomme. Derzeit habe ich es nur direkt an der Eingabeaufforderung getestet, aber ich plane, dies in einem (Bash-) Shell-Skript zu …

16 linux bash scripting awk rsync

1

So schließen Sie Dateien ein, die in einem rsync ausgeschlossen sind

Ich versuche, einen Rsync einzurichten, der alle .*Dateien mit Ausnahme von ausschließt, .htaccessaber leider funktioniert dies nicht: rsync -avP --exclude=".*" --include="./.htaccess" ./. user@server:/dir Kann man allgemeine Ausschlussregeln irgendwie ausschließen?

16 rsync

1

Warum wurde rsync nicht gefunden?

rsync -avP /home/user/.profile hpux3:/home/user/.profile bash: rsync: command not found Wenn ich ssh auf hpux3 mache rsync version 3.1.1 protocol version 31 Copyright (C) 1996-2014 by Andrew Tridgell, Wayne Davison, and others. Web site: http://rsync.samba.org/ output truncated Ich habe PATHin $HOME/.profileund gesetzt $HOME/.bashrc. Soll ich es in der /etc/profileDatei einstellen ?

16 rsync path

1

Warum verwendet rsync keine Delta-Übertragungen für eine einzelne Datei in einem Netzwerk?

Ich habe mir diese Frage und diese Frage angeschaut , aber sie scheinen nicht die Symptome anzusprechen, die ich sehe. Ich habe eine große Protokolldatei (ca. 600 MB), die ich über ein Mobilfunknetz übertragen möchte. Da es sich um eine Protokolldatei handelt, wird sie nur angehängt (obwohl sie sich tatsächlich …

15 rsync

4

Übertragen von Millionen von Dateien von einem Server auf einen anderen

Ich habe zwei Server. Eine von ihnen hat 15 Millionen Textdateien (ca. 40 GB). Ich versuche, sie auf einen anderen Server zu übertragen. Ich überlegte, sie zu komprimieren und das Archiv zu übertragen, erkannte jedoch, dass dies keine gute Idee ist. Also habe ich den folgenden Befehl verwendet: scp -r …

15 rsync performance scp file-transfer

2

Warum erlaubt mein rsync keine Blockgröße> 128K?

Ausführen von rsync mit einem großen * --block-size wie folgt: rsync -avvz --rsh 'ssh -c arcfour' --block-size 1048576 --inplace --progress example.com:/big.file /big.file Ich erhalte folgenden Fehler: Invalid block length 1048576 [sender] Auf beiden Seiten läuft 64bit CentOS 6.4. Von Googeln habe ich gesehen --block-size, mit viel höheren Werten verwendet, warum …

15 rsync

1

Kann rsync eine große Datei aktualisieren, die sich ohne vollständige Neuübertragung nur teilweise geändert hat?

Ich nehme eine geringfügige Änderung an einer sehr großen Datei-Image-Datei vor (nur ein paar Pixel Unterschied), deren Übertragung über das Netzwerk lange dauert. Gibt es eine Möglichkeit für rsync, den Unterschied in der Datei zu identifizieren und nur den kleinen Unterschied über das Netzwerk zu senden?

15 rsync diff

Als «rsync» getaggte Fragen