Wie verwende ich AWS S3 CLI, um Dateien in BASH auf stdout zu sichern?

Ich starte ein Bash-Skript, das einen Pfad in S3 (wie im Befehl ls angegeben ) verwendet und den Inhalt aller Dateiobjekte an speichert stdout. Im Wesentlichen möchte ich mit cat /path/to/files/*Ausnahme von S3 replizieren , z s3cat '/bucket/path/to/files/*'. Meine erste Neigung, die Optionen zu betrachten, besteht darin, den cpBefehl für eine temporäre Datei zu verwenden und dann catdas.

Hat jemand dies oder ähnliches versucht oder gibt es bereits einen Befehl, den ich nicht finde, der es tut?

Speichern Sie den Inhalt aller Dateiobjekte in stdout.

Sie können dies erreichen, wenn Sie -als Ziel des aws s3 cpBefehls übergeben. Zum Beispiel $ aws s3 cp s3://mybucket/stream.txt -.

Was Sie versuchen zu tun, ist so etwas? :: ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Wenn Sie eine Version der AWS-CLI verwenden, die das Kopieren nach "-" nicht unterstützt, können Sie auch / dev / stdout verwenden:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Möglicherweise möchten Sie auch, dass das --quietFlag verhindert, dass eine Zusammenfassungszeile wie die folgende an Ihre Ausgabe angehängt wird:

download: s3: //mybucket/stream.txt to ../../dev/stdout

Sie können versuchen, s3streamcat zu verwenden . Es unterstützt auch die Formate bzip , gzip und xz.

Installieren mit

sudo pip install s3streamcat

Verwendung:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Ah ha!

https://pypi.python.org/pypi/s3cat/1.0.8

Ich schreibe mehr Zeichen, um die Längenanforderungen zu erfüllen.

Wenn Sie dies mit BASH erreichen möchten, müssen Sie eine externe App wie die AWS Command-Line Interface (CLI) aufrufen . Es gibt kein CAT-Äquivalent, daher müssten Sie die Datei lokal kopieren und dann CAT.

Alternativ können Sie eine App verwenden / schreiben, die direkt das AWS SDK aufruft, das für Sprachen wie Python, PHP und Java verfügbar ist. Mithilfe des SDK können Dateiinhalte im Arbeitsspeicher abgerufen und dann an stdout gesendet werden.