Abrufen des zuletzt geänderten Objekts von der S3-CLI

Ich habe einen Anwendungsfall, in dem ich programmgesteuert eine EC2-Instanz aufrufe, eine Datei aus S3 kopiere und ausführbar mache, sie ausführe und die Instanz herunterfahre (in Benutzerdaten). Ich muss nur die zuletzt hinzugefügte Datei von S3 erhalten. Gibt es eine Möglichkeit, die zuletzt geänderte Datei / das zuletzt geänderte Objekt mithilfe der CLI aus einem S3-Bucket abzurufen?

Sie können alle Objekte im Bucket auflisten mit aws s3 ls $BUCKET --recursive:

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

Sie sind alphabetisch nach Schlüsseln sortiert, aber diese erste Spalte ist die letzte geänderte Zeit. Ein kurzer sortwird sie nach Datum neu ordnen:

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1wählt die letzte Zeile aus und awk '{print $4}'extrahiert die vierte Spalte (den Namen des Objekts).

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

Zu guter Letzt legen Sie dies ab, aws s3 cpum das Objekt herunterzuladen:

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Nach einer Weile gibt es ein kleines Update, wie man es ein bisschen elegant macht:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

Anstelle einer zusätzlichen reverseFunktion können wir den letzten Eintrag aus der Liste über erhalten[-1]

Alte Antwort:

Dieser Befehl erledigt den Job einfach ohne externe Abhängigkeiten:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

Es folgt ein Bash-Skript, das die neueste Datei von einem S3-Bucket herunterlädt. Ich habe stattdessen den Befehl AWS S3 Synch verwendet, damit die Datei nicht von S3 heruntergeladen wird, wenn sie bereits vorhanden ist.

--exclude, schließt alle Dateien aus

--include, enthält alle Dateien, die dem Muster entsprechen

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps Danke @ David Murray

Wenn es sich um eine frisch hochgeladene Datei handelt, können Sie mit Lambda einen Code für das neue S3-Objekt ausführen.

Wenn Sie wirklich die neueste benötigen, können Sie Ihre Dateien mit dem Datum zuerst benennen, nach Namen sortieren und das erste Objekt übernehmen.