Wie kann ich s3-Objekte> 5 GB von einem Bucket in einen anderen verschieben?

Objekte, die größer als 5 GB sind, werden beim mehrteiligen Hochladen unterstützt. Wir haben bereits Dateien mit mehr als 5 GB in einem Bucket, die ich unter demselben AWS-Konto in einen anderen verschieben möchte. Wenn ich den Befehl mit s3cmd ausführe:

s3cmd mv s3://BUCKET1/OBJECT1 s3://BUCKET2[/OBJECT2]

Ich komme mit dem Fehler zurück:

ERROR: S3 error: 400 (InvalidRequest): The specified copy source is larger than the maximum allowable size for a copy source: 5368709120

Wenn es überhaupt möglich ist, kann es vermutlich nicht ohne zusätzliche Bandbreite / Kosten verschoben werden. Trotzdem versuche ich herauszufinden, ob Sie große Dateien in einer mehrteiligen Methode verschieben können.

Derzeit kann das, was Sie versuchen, nicht in einem einzigen Vorgang ausgeführt werden. Das Verschieben in S3cmd in die API ist im Wesentlichen ein Kopieren und Löschen in einem und eine Einschränkung des Kopiervorgangs.

http://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectCOPY.html

Sie können einzelne Objekte mit bis zu 5 TB in Amazon S3 speichern. Mit dieser API erstellen Sie in einer einzelnen atomaren Operation eine Kopie Ihres Objekts mit einer Größe von bis zu 5 GB. Zum Kopieren eines Objekts mit mehr als 5 GB müssen Sie jedoch die mehrteilige Upload-Upload-Teil - Kopier-API verwenden

http://docs.aws.amazon.com/AmazonS3/latest/dev/CopyingObjctsMPUapi.html

Die Beispiele in diesem Abschnitt zeigen Ihnen, wie Sie Objekte mit mehr als 5 GB mithilfe der mehrteiligen Upload-API kopieren. Sie können Objekte mit weniger als 5 GB in einem einzigen Vorgang kopieren.