Der beste Weg, um Dateien zwischen S3-Buckets zu verschieben?

Ich möchte täglich einige Dateien aus einem Produktions-Bucket in einen Entwicklungs-Bucket kopieren.

Beispiel: Kopieren Sie ProductionBucket / Feed / Feedname / Datum in DevelopmentBucket / Feed / Feedname / Datum

Da die gewünschten Dateien so tief in der Ordnerstruktur liegen, ist es zu zeitaufwändig, zu jedem Ordner zu wechseln und ihn zu kopieren / einzufügen.

Ich habe mit dem Mounten von Laufwerken in jeden Bucket und dem Schreiben eines Windows-Batch-Skripts herumgespielt, aber das ist sehr langsam und lädt unnötigerweise alle Dateien / Ordner auf den lokalen Server herunter und sichert sie erneut.

Aktualisieren

Wie von alberge (+1) hervorgehoben, bietet die hervorragende AWS-Befehlszeilenschnittstelle heutzutage den vielseitigsten Ansatz für die Interaktion mit (fast) allen Dingen von AWS - sie deckt mittlerweile die APIs der meisten Dienste ab und bietet auch S3-Befehle auf höherer Ebene für den Umgang mit Ihren Anwendungsfall speziell, siehe AWS CLI-Referenz für S3 :

• sync - Synchronisiert Verzeichnisse und S3-Präfixe. Ihr Anwendungsfall fällt unter Beispiel 2 (mehr feinkörnige Nutzungs mit --exclude, --includeund Präfix Handling usw. ist ebenfalls verfügbar):

  Der folgende Synchronisierungsbefehl synchronisiert Objekte unter einem bestimmten Präfix und Bucket mit Objekten unter einem anderen angegebenen Präfix und Bucket, indem s3-Objekte kopiert werden. [...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Der Vollständigkeit halber möchte ich erwähnen, dass die S3-Befehle der unteren Ebene auch weiterhin über den Unterbefehl s3api verfügbar sind , mit dem jede SDK-basierte Lösung direkt in die AWS-CLI übersetzt werden kann, bevor die Funktionen der höheren Ebene schließlich übernommen werden.

Erste Antwort

Das Verschieben von Dateien zwischen S3 Eimer kann mittels der erreicht werden PUT Object - Copy API (gefolgt von DELETE Object ):

Diese Implementierung der PUT-Operation erstellt eine Kopie eines Objekts, das bereits in Amazon S3 gespeichert ist. Ein PUT-Kopiervorgang entspricht dem Ausführen eines GET und anschließend eines PUT. Durch Hinzufügen des Anforderungsheaders x-amz-copy-source kopiert die PUT-Operation das Quellobjekt in den Ziel-Bucket. Quelle

Für alle vorhandenen AWS SDKs stehen entsprechende Beispiele zur Verfügung, siehe Kopieren von Objekten in einem einzigen Vorgang . Natürlich wäre hier eine auf Skripten basierende Lösung die naheliegende erste Wahl. Daher kann das Kopieren eines Objekts mit dem AWS SDK für Ruby ein guter Ausgangspunkt sein. wenn Sie stattdessen Python bevorzugt, kann das gleiche über erreicht werden boto und natürlich sieht Methode copy_key()innerhalb Boto der S3 API - Dokumentation .

PUT ObjectKopiert nur Dateien, daher müssen Sie eine Datei DELETE Objectnach einem erfolgreichen Kopiervorgang explizit über noch löschen. Dies sind jedoch nur noch wenige Zeilen, sobald das gesamte Skript für den Bucket und die Dateinamen vorhanden ist (es gibt auch entsprechende Beispiele) siehe z. B. Löschen eines Objekts pro Anforderung ).

Die neue offizielle AWS CLI unterstützt nativ die meisten Funktionen von s3cmd. Ich hatte zuvor s3cmddas Ruby AWS SDK verwendet, um solche Dinge zu tun, aber die offizielle CLI funktioniert hierfür hervorragend.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Zum Verschieben / Kopieren von einem Bucket in einen anderen oder denselben Bucket verwende ich das s3cmd-Tool und funktioniert einwandfrei. Zum Beispiel:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

Ich habe Tage damit verbracht, mein eigenes benutzerdefiniertes Tool zu schreiben, um die dafür erforderlichen Kopien zu parallelisieren, aber dann bin ich auf die Dokumentation gestoßen, wie der AWS S3 CLI-Synchronisierungsbefehl zum Synchronisieren von Buckets mit massiver Parallelisierung verwendet werden kann . Die folgenden Befehle weisen die AWS-CLI an, 1.000 Threads zum Ausführen von Jobs (jeweils eine kleine Datei oder ein Teil einer mehrteiligen Kopie) zu verwenden und 100.000 Jobs vorauszusehen:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Nachdem Sie diese ausgeführt haben, können Sie den einfachen Synchronisierungsbefehl wie folgt verwenden:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

Auf einem m4.xlarge-Computer (in AWS - 4 Kerne, 16 GB RAM) stieg die Synchronisierungs- / Kopiergeschwindigkeit für meinen Fall (3-50 GB Dateien) von etwa 9,5 MB / s auf 700 + MiB / s, was einer Geschwindigkeitssteigerung von entspricht 70x über der Standardkonfiguration.

Update: Beachten Sie, dass S3CMD im Laufe der Jahre aktualisiert wurde und diese Änderungen jetzt nur wirksam werden, wenn Sie mit vielen kleinen Dateien arbeiten. Beachten Sie auch, dass S3CMD unter Windows (nur unter Windows) im Gesamtdurchsatz stark eingeschränkt ist und nur etwa 3 Gbit / s pro Prozess erreichen kann, unabhängig von der verwendeten Instanzgröße oder den verwendeten Einstellungen. Andere Systeme wie S5CMD haben das gleiche Problem. Ich habe mit dem S3-Team darüber gesprochen und sie prüfen es.

.NET Beispiel wie gewünscht:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

mit Client ist so etwas wie

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Es gibt vielleicht einen besseren Weg, aber es ist nur ein kurzer Code, den ich geschrieben habe, um einige Dateien zu übertragen.

Wenn Sie einen Unix-Host in AWS haben, verwenden Sie s3cmd von s3tools.org. Richten Sie Berechtigungen so ein, dass Ihr Schlüssel als Lesezugriff auf Ihren Entwicklungs-Bucket erfolgt. Dann renne:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Für mich hat der folgende Befehl gerade funktioniert:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Hier ist eine Ruby-Klasse, um dies durchzuführen: https://gist.github.com/4080793

Anwendungsbeispiel:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

Eigentlich verwende ich seit kurzem nur die Aktion Kopieren + Einfügen in der AWS s3-Oberfläche. Navigieren Sie einfach zu den Dateien, die Sie kopieren möchten, klicken Sie auf "Aktionen" -> "Kopieren" und navigieren Sie dann zum Zielbereich und zu "Aktionen" -> "Einfügen".

Es überträgt die Dateien ziemlich schnell und es scheint eine weniger komplizierte Lösung zu sein, die keine Programmierung erfordert, oder übertriebene Lösungen wie diese.

Wir hatten genau dieses Problem mit unseren ETL-Jobs bei Snowplow , also haben wir unseren parallelen Dateikopiercode (Ruby, der auf Fog basiert ) in sein eigenes Ruby-Juwel namens Sluice extrahiert :

https://github.com/snowplow/sluice

Sluice übernimmt auch das Löschen, Verschieben und Herunterladen von S3-Dateien. alle parallelisiert und mit automatischem erneuten Versuch, wenn eine Operation fehlschlägt (was überraschend oft der Fall ist). Ich hoffe es ist nützlich!

Ich weiß, dass dies ein alter Thread ist, aber für andere, die dort ankommen, ist mein Vorschlag, einen geplanten Job zu erstellen, um Inhalte aus dem Produktionsbereich in den Entwicklungsbereich zu kopieren.

Sie können verwenden Wenn Sie .NET verwenden, kann Ihnen dieser Artikel helfen

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

Für neue Version aws2.

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME