Kopieren Sie die Verzeichnisstruktur intakt in den AWS S3-Bucket

Ich möchte die AWS S3-CLI verwenden, um eine vollständige Verzeichnisstruktur in einen S3-Bucket zu kopieren.

Bisher hat alles, was ich versucht habe, die Dateien in den Bucket kopiert, aber die Verzeichnisstruktur ist reduziert. (Anders ausgedrückt, jede Datei wird in das Stammverzeichnis des Buckets kopiert.)

Der Befehl, den ich benutze, ist:

aws s3 cp --recursive ./logdata/ s3://bucketname/

Ich habe auch versucht, den abschließenden Schrägstrich auf meiner Quellenbezeichnung (dh die Kopie aus dem Argument) wegzulassen. Ich habe auch einen Platzhalter verwendet, um alle Dateien zu kennzeichnen. Bei jedem Versuch werden die Protokolldateien einfach in das Stammverzeichnis des Buckets kopiert.

Ich glaube, Synchronisierung ist die Methode, die Sie wollen. Versuchen Sie dies stattdessen:

aws s3 sync ./logdata s3://bucketname/

Ich hatte diesen Fehler festgestellt, als ich einen dieser Befehle verwendet habe.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

Ich dachte sogar daran, den S3-Bucket lokal zu mounten und dann rsync auszuführen, auch wenn dies fehlschlug (oder für einige Stunden zum Erliegen kam), da ich Tausende von Dateien habe.

Schließlich wirkte s3cmd wie ein Zauber.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Dies macht nicht nur die Arbeit gut und zeigt eine ziemlich ausführliche Ausgabe auf der Konsole, sondern lädt auch große Dateien in Teilen hoch.

Folgendes hat für mich funktioniert:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

AWS "erstellt" dann this_directoryalle lokalen Inhalte und kopiert sie hinein.

Verwenden Sie das folgende Skript zum Kopieren der Ordnerstruktur:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Ich konnte nicht bekommen s3 syncoder s3 cpinnen mit 55 GB - Ordner auf einen zu arbeiten Tausenden von Dateien und mehr als 2 Dutzend Verzeichnissen. Der Versuch, den gesamten Ordner zu synchronisieren, würde dazu führen, dass awscli unbemerkt fehlschlägt, ohne dass etwas in den Bucket hochgeladen wird.

Dies wurde getan, um zuerst alle Unterverzeichnisse und deren Inhalte zu synchronisieren (die Ordnerstruktur bleibt erhalten):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Dann habe ich dies getan, um die 30.000 Dateien in der obersten Ebene zu erhalten:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Stellen Sie sicher, dass Sie die Last auf dem Server beobachten (Protip, mit dem Sie wnur die Last anzeigen können ) und ctrl-zden Befehl anhalten, wenn die Last zu hoch wird. ( fgum es wieder fortzusetzen).

Stellen Sie dies hier auf, falls es jemandem in einer ähnlichen Situation hilft.

Anmerkungen:

-mindepth 1 schließt aus .

-maxdepth 1Verhindert, dass find Inhalte von Unterverzeichnissen auflistet, da s3 syncdiese erfolgreich verarbeitet werden.

cut -c 3- Entfernt das "./" vom Anfang jedes Ergebnisses aus der Suche.

Alternativ können Sie auch den Minio-Client aka mc ausprobieren

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Hoffe es hilft.

PS: Ich bin einer der Mitwirkenden am Projekt.

(Verbesserung der Lösung von Shishir )

• Speichere das folgende Skript in einer Datei (ich habe die Datei benannt s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Führen Sie es wie folgt aus:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Wenn beispielsweise im Basisverzeichnis s3Copy.shgespeichert ist und ich alle Dateien und Verzeichnisse kopieren möchte, die sich im aktuellen Verzeichnis befinden, führe ich Folgendes aus:
  ~/s3Copy.sh . s3://XXX/myBucket

Sie können ganz einfach das Skript ändern , um andere Argumente zu ermöglichen , s3 cpwie --include, --exclude...