Ich habe Probleme, meine große S3-Rechnung zu verstehen, und dachte, ich würde hier nachfragen, bevor ich 30 US-Dollar für den monatlichen AWS-Support storniere.

Grundsätzlich habe ich eine Amazon EC2- Instanz, die eine API für verschiedene Kryptowährungsaustausche erstellt und die Antworten auf die Instanz HD speichert. Anrufe werden ungefähr alle 5 Minuten getätigt, Antwortobjekte sind ungefähr 100 KB groß, werden von einem R- Skript gelesen und alle ~ 8 Minuten zu einer CSV- Datei hinzugefügt . Diese CSV-Datei wird etwa alle 15 Minuten mit einem Amazon S3- Bucket synchronisiert .

Die CSV-Dateien haben in der Regel eine Größe von etwa 10 MB, bei etwa 15 Kryptowährungen alle 15 Minuten. Wenn Sie also in den Amazon S3-Bucket schauen, werden möglicherweise höchstens 0,5 GB Speicherplatz verwendet.

Die 'TimedStorage-ByteHours' lesen jedoch bei ca. 4 TB!

Amazon Simple Storage-Dienst TimedStorage-ByteHrs $ 89.55

0,000 USD pro GB - Speicherplatz im Rahmen der monatlichen kostenlosen globalen Tier5 GB - Mo 0,00 USD

0,023 USD pro GB - die ersten 50 TB / Monat des verwendeten Speichers 3 893 399 GB - derzeit 89,55 USD

Irgendwelche Ideen?

Höchstwahrscheinlich ist die S3-Versionierung aktiviert. Das bedeutet, dass alte Objekte beim Überschreiben mit einer neueren Version nicht gelöscht, sondern in einem Verlauf ausgeblendet werden. Um dies zu überprüfen, gehen Sie zu Bucket -> Eigenschaften -> Versionierung .

Sie können die alten Versionen auch im Browser anzeigen, wie in diesem Screenshot gezeigt. Ich habe verschiedene Versionen der 108c05...jsonDatei:

Wenn Sie die Versionsverwaltung aktiviert haben, dies aber nicht möchten, können Sie die Versionsverwaltung unterbrechen. Beachten Sie jedoch, dass die alten Versionen nicht gelöscht werden.

• benutze AWS-CLI und etwas Scripting (beginne mit aws s3api list-object-versions)
• Konfigurieren Sie die Bucket-Lifecycle-Richtlinie so , dass die alten Versionen ablaufen. Dies geschieht über S3 -> Bucket -> Management -> Lifecycle -> Add Lifecycle Rule und geben Sie im Bildschirm Expiration folgende Details ein:

Hoffentlich hilft das :)

Für Speicher mit seltenem Zugriff gilt eine Mindestgebühr von 30 Tagen pro Artikel

1. Gehen Sie zu https://s3.console.aws.amazon.com und rufen Sie die Dateiliste für einen Ihrer Eimer ab.
2. Beachten Sie, dass jede Datei im Bucket eine Speicherklasse hat. Die Wahl der Lagerklasse unterliegt Ihrer Kontrolle und wirkt sich auf die Kosten aus.

Standardist das teuerste, so dass einige Leute verwenden, infrequent accessdie eine niedrigere monatliche Gebühr (~ 50% Rabatt) pro GB nach der Preistabelle gespeichert hat. ABER, Infrequent hat auch eine Abrufgebühr von 0,01 USD / GB, sodass nur die Gesamtkosten für Dateien gespart werden, die mindestens einen Monat gespeichert und weniger als einmal pro Monat abgerufen werden. Außerdem kann es in Ihrem Bucket eine Lebenszyklusrichtlinie geben, die die Speicherklasse von Dateien im Laufe der Zeit ändert. Dies kann sich darauf auswirken, wann die Mindestspeicherdauer von 30 Tagen beginnt.

Im Kleingedruckten infrequent accesswird eine Mindestgebühr von 30 Tagen für jeden Artikel gespeichert.

Quelle: https://aws.amazon.com/s3/pricing/

Erste Fußnote, markiert mit †

† S3 Standard-Infrequent Access und S3 One Zone-Infrequent Access-Speicher haben eine abrechnungsfähige Mindestobjektgröße von 128 KB. Kleinere Objekte können gespeichert werden, für 128 KB Speicher wird jedoch eine Gebühr erhoben. S3 Standard-Infrequent Access und S3 One Zone-Infrequent Access Storage werden für eine Mindestspeicherdauer von 30 Tagen berechnet. Objekte, die vor 30 Tagen gelöscht, überschrieben oder in eine andere Speicherklasse überführt wurden, werden mit der normalen Nutzungsgebühr zuzüglich einer anteiligen Anforderungsgebühr für den Rest des 30-tägigen Mindestbetrags berechnet. Für Objekte, die 30 Tage oder länger gelagert werden, wird keine Mindestgebühr von 30 Tagen erhoben

Das Teuere an Amazon S3 und auch an Google Cloud Storage sind die Netzwerkgebühren, die anfallen, wenn Daten in das öffentliche Internet gesendet werden, anstatt in der Cloud des Unternehmens gespeichert zu werden. Die Netzwerkgebühr für das einmalige Abrufen kann die Speichergebühr für 3-4 Monate leicht überschreiten. 0,09 USD / GB (Oktober 2018) für AWS S3 , 0,12 USD / GB für Google Cloud Storage , niedrigste Nutzungsstufe.

Digital Ocean verfügt über eine S3-kompatible Speicherebene mit der Bezeichnung "Spaces", die möglicherweise einen Blick wert ist. Es wurden einige Fehler gemeldet, die möglicherweise in gewisser Weise gedrosselt werden, aber die Preisgestaltung insgesamt sieht interessant aus und ist möglicherweise für einige Anwendungen "gut genug".