Wie kann ich die Größe eines Amazon S3-Buckets ermitteln?

Ich möchte die Größe (in Byte und Anzahl der Elemente) eines Amazon S3-Buckets grafisch darstellen und suche nach einer effizienten Möglichkeit, die Daten abzurufen.

Die s3cmd- Tools bieten eine Möglichkeit, die gesamte Dateigröße mithilfe von zu ermitteln s3cmd du s3://bucket_name. Ich bin jedoch besorgt über die Skalierbarkeit , da anscheinend Daten zu jeder Datei abgerufen und ihre eigene Summe berechnet werden. Da Amazon Benutzer in GB-Monaten belastet, erscheint es seltsam, dass sie diesen Wert nicht direkt verfügbar machen.

Obwohl die REST-API von Amazon die Anzahl der Elemente in einem Bucket zurückgibt, scheint s3cmd sie nicht verfügbar zu machen. Ich könnte es tun, s3cmd ls -r s3://bucket_name | wc -laber das scheint ein Hack zu sein.

Die Ruby AWS :: S3- Bibliothek sah vielversprechend aus, bietet jedoch nur die Anzahl der Bucket-Elemente und nicht die Gesamt-Bucket-Größe.

Kennt jemand andere Befehlszeilentools oder -bibliotheken (vorzugsweise Perl, PHP, Python oder Ruby), mit denen diese Daten abgerufen werden können?

Die AWS-CLI unterstützt jetzt den --queryParameter, der JMESPath- Ausdrücke akzeptiert .

Dies bedeutet, dass Sie die angegebenen Größenwerte mit summieren und wie list-objectsfolgt sum(Contents[].Size)zählen können length(Contents[]).

Dies kann mit der offiziellen AWS-CLI wie folgt ausgeführt werden und wurde im Februar 2014 eingeführt

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Dies kann jetzt ganz einfach mit dem offiziellen AWS-Befehlszeilenclient durchgeführt werden:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

Offizielle Dokumentation

Dies akzeptiert auch Pfadpräfixe, wenn Sie nicht den gesamten Bucket zählen möchten:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

AWS Console:

Ab dem 28. Juli 2015 können Sie diese Informationen über CloudWatch erhalten . Wenn Sie eine GUI benötigen, rufen Sie die CloudWatch-Konsole auf : (Wählen Sie Region>) Metriken> S3

AWS CLI-Befehl:

Dies ist viel schneller als einige der anderen hier veröffentlichten Befehle, da nicht die Größe jeder Datei einzeln abgefragt wird, um die Summe zu berechnen.

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

Wichtig : Sie müssen sowohl StorageType als auch BucketName im Dimensionsargument angeben, sonst erhalten Sie keine Ergebnisse. Alles , was Sie ändern müssen , ist die --start-date, --end-time, und Value=toukakoukan.com.

Hier ist ein Bash - Skript Sie verwenden können , zu vermeiden , angeben zu müssen --start-dateund --end-timemanuell.

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd kann das:

s3cmd du s3://bucket-name

Wenn Sie einen Nutzungsbericht herunterladen , können Sie die Tageswerte für das TimedStorage-ByteHrsFeld grafisch darstellen .

Wenn Sie diese Zahl in GiB haben möchten, teilen Sie sie einfach durch 1024 * 1024 * 1024 * 24(das sind GiB-Stunden für einen 24-Stunden-Zyklus). Wenn Sie die Anzahl in Bytes wollen, teilen Sie sie einfach durch 24 und zeichnen Sie sie weg.

Verwenden der offiziellen AWS s3-Befehlszeilentools:

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

Dies ist ein besserer Befehl, nur die folgenden drei Parameter hinzufügen --summarize --human-readable --recursivenach aws s3 ls. --summarizeist nicht erforderlich, gibt aber einen netten Touch auf die Gesamtgröße.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd ist der schnellste Weg, den ich gefunden habe (ein in Python geschriebenes Befehlszeilenprogramm):

pip install s4cmd

So berechnen Sie die gesamte Schaufelgröße mit mehreren Threads:

s4cmd du -r s3://bucket-name

Ich habe die zuvor in diesem Thread aufgeführte S3-REST / Curl-API verwendet und dies getan:

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

Sie können das Dienstprogramm s3cmd verwenden, z.

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Wenn S3 also die API durchläuft und dieselben Abfragen abspielt, wird der gesamte Inhalt eines Buckets in einer Anforderung generiert und muss nicht in Verzeichnisse absteigen. Die Ergebnisse erfordern dann lediglich eine Summierung durch die verschiedenen XML-Elemente und keine wiederholten Aufrufe. Ich habe keinen Probenbehälter mit Tausenden von Artikeln, daher weiß ich nicht, wie gut er skaliert, aber er scheint ziemlich einfach zu sein.

... Ein bisschen spät, aber der beste Weg, den ich gefunden habe, ist die Verwendung der Berichte im AWS-Portal. Ich habe eine PHP-Klasse zum Herunterladen und Parsen der Berichte erstellt. Damit können Sie die Gesamtzahl der Objekte für jeden Bucket, die Gesamtgröße in GB oder Byte-Stunden und mehr abrufen.

Probieren Sie es aus und lassen Sie es mich wissen, wenn es hilfreich war

AmazonTools

Ich empfehle für S3 Nutzungsbericht mit großen Eimern , siehe meine Wie , wie man es bekommt Grundsätzlich müssen Sie Nutzungsbericht für S3 - Dienst für den letzten Tag mit Timed Speichern herunterladen - Byte Stunden und analysiert es Plattennutzung zu erhalten.

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

In der AWS-Dokumentation erfahren Sie, wie es geht:

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

Dies ist die Ausgabe, die Sie erhalten:

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

Für einen wirklich Low-Tech-Ansatz: Verwenden Sie einen S3-Client, der die Größe für Sie berechnen kann. Ich verwende Panic's Transmit, klicke auf einen Bucket, mache "Get Info" und klicke auf den "Calculate" -Button. Ich bin nicht sicher, wie schnell oder genau es in Bezug auf andere Methoden ist, aber es scheint die Größe zurückzugeben, die ich erwartet hatte.

Da es so viele Antworten gibt, nahm ich an, dass ich mich meinen eigenen anschließen würde. Ich habe meine Implementierung in C # mit LINQPad geschrieben. Kopieren Sie den abzufragenden Zugriffsschlüssel, den geheimen Schlüssel, den Regionsendpunkt und den Bucket-Namen, und fügen Sie sie ein. Stellen Sie außerdem sicher, dass Sie das AWSSDK-Nuget-Paket hinzufügen.

Beim Testen mit einem meiner Eimer erhielt ich eine Zählung von 128075 und eine Größe von 70,6 GB. Ich weiß, dass das 99,9999% genau ist, also bin ich gut mit dem Ergebnis.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Wenn Sie die Größe von AWS Console erhalten möchten:

1. Gehen Sie zu S3 und klicken Sie auf den Bucket-Namen
2. Wählen Sie die Registerkarte "Verwaltung"

3. Wählen Sie die Registerkarte Metriken

Standardmäßig sollten Sie sehen , Lagerung Metric des Eimers

Ich weiß, dass dies eine ältere Frage ist, aber hier ist ein PowerShell-Beispiel:

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A enthält die Größe des Buckets, und es gibt einen keyname-Parameter, wenn Sie nur die Größe eines bestimmten Ordners in einem Bucket möchten.

Verwenden Sie dieses Bash-Skript, um die Größe aller Eimer zu überprüfen

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Sie können verwenden s3cmd:

s3cmd du s3://Mybucket -H

oder

s3cmd du s3://Mybucket --human-readable

Es gibt die Gesamtzahl der Objekte und die Größe des Eimers in gut lesbarer Form an.

Hey, es gibt ein Metadatensuchwerkzeug für AWS S3 unter https://s3search.p3-labs.com/. Dieses Werkzeug liefert statistische Daten zu Objekten in einem Bucket mit Suche nach Metadaten.

Dies erledigt auch Hanzo S3 Tools . Nach der Installation können Sie Folgendes tun:

s3ls -s -H bucketname

Ich glaube jedoch, dass dies auch auf der Clientseite summiert und nicht über die AWS-API abgerufen wird.

Mit dem Cloudberry- Programm ist es auch möglich, die Größe des Buckets , die Anzahl der Ordner und die Gesamtzahl der Dateien aufzulisten , indem Sie auf "Eigenschaften" rechts oben im Bucket klicken.

Wenn Sie die Befehlszeile unter Windows und OSX nicht verwenden möchten, gibt es eine universelle Remote-Dateiverwaltungs-App namens Cyberduck . Melden Sie sich mit Ihrem Zugriffs- / geheimen Schlüsselpaar bei S3 an, klicken Sie mit der rechten Maustaste auf das Verzeichnis und klicken Sie auf Calculate.

Ich habe ein Bash-Skript geschrieben, s3-du.sh, das Dateien im Eimer mit s3ls auflistet und die Anzahl der Dateien und Größen wie druckt

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

Vollständiges Skript:

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

Die Größe des Unterverzeichnisses wird angegeben, da Amazon den Verzeichnisnamen und die Größe des gesamten Inhalts zurückgibt.

CloudWatch verfügt jetzt über ein Standard-S3-Dienst-Dashboard, das es in einem Diagramm mit dem Namen "Bucket Size Bytes Average" auflistet. Ich denke, dieser Link funktioniert für alle Benutzer, die bereits bei AWS Console angemeldet sind:

Die folgende Methode verwendet AWS PHP SDK, um die Gesamtgröße des Buckets zu ermitteln.

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

Das funktioniert bei mir ..

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'