Kann ich rsync zum Sichern bei Amazon S3 verwenden?

17

Ich habe von evbackup etwas Speicherplatz gekauft, der mir FTP, Rsync und SSH bietet. Ich habe aber auch gelesen, dass Amazon S3 auch für Backups verwendet werden kann.

Daher bin ich wirklich verwirrt, dass Amazon FTP-Zugriff gewährt, um Dateien zur Sicherung hochzuladen.

Wie kann ich diese Dateien herunterladen?

Ich habe ihre Seite viele Male gelesen, konnte aber nicht verstehen, wie ihr System funktioniert. Ich möchte nur das Home-Verzeichnis meiner Benutzer sichern

backup ftp amazon-s3

— Fata Morgana
quelle

24

Nein, Sie können keine rsyncDateien an Amazon übertragen. Es verwendet ein eigenes Protokoll für den Dienst. Sie können jedoch über Dienste von Drittanbietern wie www.s3rsync.com auf deren Speicher zugreifen , diese dann verwenden rsyncund Ihre Daten endgültig in den S3-Speicher übertragen.

Sie können auch spezielle Dienstprogramme für S3-Speicher verwenden. Es gibt: s3sync , s3command , s3cp , tarsnap (tarsnap ist ein Drittanbieter wie s3rsync).

Ein weiteres rsync-ähnliches Tool duplicityunterstützt S3-Speicher als Backend sowie viele andere Backup-Backends, einschließlich RackSpace Cloud Files (ein weiterer Cloud-Speicherdienst zu ähnlichen Preisen wie Amazon S3).

Backup zu S3:

duplicity /home/me s3+http://bucketname/prefix

oder zu den Cloud-Dateien von Rackspace:

duplicity /home/me cf+http://container_name

— Sastanin
quelle

Vielen Dank dafür, auch ich konnte ihr Datenmodell nicht verstehen. Ich überprüfte ihre Preise und sie gaben immer für Bandbreite an. wie 0,18 Cent pro GB Datenübertragung. Angenommen, ich lade dort 50 GB Daten für das Backup hoch und mache dann nichts. Dann, wie viel sie verlangen, wenn ich nicht transferiere. Ich konnte keine finden, wo sie angeben, wie viel Speicherplatz sie wie 50 $ für 50 GB Festplatte geben

— Mirage

@Moorage: Amazon berechnet sowohl Speicherkosten (ab 0,14 USD / GB pro Monat) als auch eine Überweisung (0,1 USD / GB für die Einlieferung). Für 50 GB zahlen Sie also 7 US-Dollar pro Monat, wenn Sie nicht auf diese Daten zugreifen. Es gibt auch RackSpace Cloud-Dateien, bei denen es sich um einen ähnlichen Dienst handelt.

— Sastanin

Duplizität sieht sehr schön aus. Ich wünschte, ich hätte das gesehen, bevor ich meinen eigenen Rsync-Klon geschrieben hätte. Wenn die Duplizität für Sie etwas zu aufwändig ist, schauen Sie sich meinen einfachen "rsync-ähnlichen" Wrapper für boto an: github.com/seedifferently/boto_rsync

— Seth

1

PS Ich habe noch nie Duplicity benutzt, aber einer meiner Freunde hat defekte Backups gemeldet. Mit Vorsicht anwenden.

— Sastanin

Sie können auch den Minio-Client [ github.com/minio/mc ] aka mc ausprobieren . Sie können den Befehl [mc mirror] verwenden, um Ihren lokalen Ordner mit dem S3-Bucket zu spiegeln.

— User52692

5

Die offizielle Befehlszeilenschnittstelle von Amazon hat bei mir gut funktioniert. Es kann sowohl von einem lokalen zu einem S3-Bucket als auch von einem S3-Bucket zurück zu lokalen Dateien synchronisiert werden.

1) Installieren Sie die Befehlszeilenschnittstelle von Amazon unter https://aws.amazon.com/cli/.

2) aus einer Muschel,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Weitere nützliche Optionen wie --dryrun und --delete (zum Spiegeln) finden Sie unter http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

— jmnben
quelle

4

Sie können Ihren Bucket einfach mit s3fs lokal einhängen und dann mit rsync auf diesen Einhängepunkt kopieren.

— GJ.
quelle

2

Das hört sich lustig an, aber es wäre sicherlich lokal zu lesen, um die Hashes zu vergleichen, was den Zweck von rsync zunichte macht ... Nein?

— David Fraser

0

Jungle Disk ist eine einfache Möglichkeit, Dateien auf Amazon S3 zu sichern (Abonnement einschließlich S3-Konto, Sie können jedoch jedes andere AWS-Konto verwenden). Vielleicht möchten Sie auch einen Blick auf Super Flexible werfen(nur Software).

— paradroid
quelle