Geoserver mit Amazon S3 Bucket

Ich habe Apache, auf dem Geoserver auf meiner virtuellen Instanz ausgeführt wird, und ich frage mich, ob das Geoserver-Datenverzeichnis auf einen Amazon S3-Bucket verweisen kann. Ist das möglich? Wie wirkt sich das auf die Leistung aus?

Wenn S3 ein schlechtes Setup für das Geoserver-Datenverzeichnis ist, gibt es Vorschläge zum Hinzufügen großer Datenmengen zu meinem Geoserver-Datenverzeichnis? Das Datenverzeichnis kann bis zu 100 GB erreichen, möglicherweise auch mehr. Sollte ich nur einen Server mit einer großen Festplatte kaufen oder eine Verbindung zu einer skalierbareren Lösung wie einem Amazon S3-Bucket herstellen?

geoserver amazon-s3

— modulitos
quelle

Was sind die Daten? Ich denke, Bilder, aber hast du es gekachelt? Vielleicht eine Datenbank für den

— Rastergewinn

Wenn Ihre Daten gerastert sind und für interaktive Zwecke gelesen und verarbeitet werden, ist WMS S3 möglicherweise sehr langsam. Tipps aus vergangenen Erfahrungen, vielleicht möchten Sie sich glusterfs + EBS ansehen.

— Simogeo

Ich habe ein Interesse daran, S3 als Shared Data Bucket für eine horizontal elastisch skalierbare Flotte von GeoServern zu verwenden. Ich untersuche derzeit die Verwendung von S3Fuse, um ein Dateisystem dafür bereitzustellen. Über weitere Erfolge / Misserfolge in diesem Bereich würde ich mich sehr freuen.

— 8bitjunkie

Irgendwelche Erfahrungen zu diesem Thema?

— Geogeek

Antworten:

"Direkt" auf einen S3-Bucket zu zeigen (z. B. mit s3fs), ist "wahrscheinlich" eine schlechte Idee. zB /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

Mit ziemlicher Sicherheit ist EBS der richtige Ort, um die Daten für den Zugriff durch GeoServer zu speichern.

100 GB sind für EBS-Standards sehr überschaubar. (Die maximale Volume-Größe beträgt 16 Terabyte!)

Ich kann vorschlagen, die ursprünglichen Daten in S3 zu speichern und sie dann nach Bedarf auf Ihre Instanzen zu replizieren. Verwenden Sie dazu die AWS CLI-Tools, um den Inhalt eines S3-Ordners mit einem einzigen Befehl mit Ihrer lokalen Instanz zu synchronisieren. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 ist wohl überflüssig, aber ich finde, dass es Flexibilität und Komfort hinzufügt.

Randnotiz: Wenn Sie ohnehin große Multi-Core-Instanzen verwenden möchten UND Sie wissen, dass das Datenvolumen wahrscheinlich nicht unerwartet ansteigt UND Sie Ihre Instanzen automatisch erstellen können, können Sie auch den Einsatz des Instanzenspeichers in Betracht ziehen ("kurzlebiger Speicher"). ) Da Ihre ursprünglichen Daten in S3 sicher sind, können Sie EBS-Gebühren einsparen, und der Instanzenspeicher kann in einigen Fällen etwas schneller sein als EBS.

— python1981
quelle

Dies ist eine umfassende Antwort. Boundless hat eine kleine Info hier: boundlessgeo.com/2013/04/...

— Alex Leith

Womit starten Sie AWS-Befehle in pyQGIS? Processing.call? boto3 scheint nicht zu laufen. Es läuft in der Osgeo-Shell mit Python2, aber nicht 3 ...

— Leo

Ist dies möglich ? Dies kann problemlos für Daten erreicht werden, die für ein GeoTIFF-Format geeignet sind, indem das Geoserver s3 für Geotiff-Community-Modul verwendet wird ( https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index) .html

Wie wirkt sich das auf die Leistung aus? Dies ist schwer zu beantworten. Ich habe jedoch festgestellt, dass die Leistung in etwa der von EBS / EFS-Speichern zu einem Bruchteil des Preises entspricht.

— noch gut
quelle