Aktualisieren
S3 bietet jetzt einen vollständig verwalteten SFTP-Gateway-Dienst für S3 an , der in IAM integriert ist und mit aws-cli verwaltet werden kann.
Es gibt theoretische und praktische Gründe, warum dies keine perfekte Lösung ist, aber es funktioniert ...
Sie können einen FTP / SFTP-Dienst (z. B. proftpd) auf einem Linux-Server installieren, entweder in EC2 oder in Ihrem eigenen Rechenzentrum. Anschließend können Sie mithilfe von s3fs einen Bucket in das Dateisystem einbinden, in dem der FTP-Server für das Chroot konfiguriert ist .
Ich habe einen Client, der Inhalte aus S3 bereitstellt, und die Inhalte werden ihnen von einem Drittanbieter bereitgestellt, der nur FTP-Pushs unterstützt. Mit einigem Zögern (aufgrund der Impedanzfehlanpassung zwischen S3 und einem tatsächlichen Dateisystem), aber ohne Als ich die Zeit hatte, ein richtiges FTP / S3-Gateway-Server-Softwarepaket zu schreiben (was ich noch eines Tages vorhabe), schlug ich diese Lösung vor einigen Monaten für sie vor und stellte sie bereit, und sie haben keine Probleme mit dem System gemeldet.
Als Bonus kann proftpd jeden FTP-Benutzer in ein eigenes Home-Verzeichnis einbinden und so tun, als ob (soweit der Benutzer dies beurteilen kann) Dateien, die dem proftpd-Benutzer gehören, tatsächlich dem angemeldeten Benutzer gehören ein "Unterverzeichnis" des Buckets und macht den Zugriff auf die Dateien der anderen Benutzer unzugänglich.
Es gibt jedoch ein Problem mit der Standardkonfiguration.
Sobald Sie einige zehn oder hundert Dateien abrufen, tritt das Problem beim Abrufen einer Verzeichnisliste auf, da ProFTPd versucht, die .ftpaccessDateien immer und immer wieder und für jede Datei im Verzeichnis zu lesen. .ftpaccesswird überprüft, um festzustellen, ob der Benutzer es anzeigen darf.
Sie können dieses Verhalten in ProFTPd deaktivieren, aber ich würde vorschlagen, dass die korrekteste Konfiguration darin besteht, zusätzliche Optionen -o enable_noobj_cache -o stat_cache_expire=30in s3fs zu konfigurieren :
-o stat_cache_expire (Standard ist kein Ablaufdatum)
Geben Sie die Ablaufzeit (Sekunden) für Einträge im Statistik-Cache an
Ohne diese Option stellen Sie weniger Anforderungen an S3, erkennen jedoch nicht immer zuverlässig Änderungen an Objekten, wenn externe Prozesse oder andere Instanzen von s3fs die Objekte im Bucket ebenfalls ändern. Der Wert "30" in meinem System wurde etwas willkürlich gewählt.
-o enable_noobj_cache (Standard ist deaktivieren)
Aktivieren Sie Cache-Einträge für das Objekt, das nicht vorhanden ist. s3fs muss immer prüfen, ob eine Datei (oder ein Unterverzeichnis) unter Objekt (Pfad) vorhanden ist, wenn s3fs einen Befehl ausführt, da s3fs ein Verzeichnis erkannt hat, das nicht vorhanden ist und Dateien oder Unterverzeichnisse unter sich hat. Es erhöht die ListBucket-Anforderung und beeinträchtigt die Leistung. Sie können diese Option für die Leistung angeben. S3fs merkt sich im Statistik-Cache, dass das Objekt (Datei oder Verzeichnis) nicht vorhanden ist.
Mit dieser Option kann sich s3fs daran erinnern, dass dies .ftpaccessnicht vorhanden war.
Unabhängig von den Leistungsproblemen, die bei ProFTPd auftreten können und durch die oben genannten Änderungen behoben werden, müssen Sie diese auch -o enable_content_md5in s3fs aktivieren.
-o enable_content_md5 (Standard ist deaktivieren)
Überprüfen hochgeladener Daten ohne mehrteilige Verwendung durch den Content-MD5-Header. Aktivieren Sie diese Option, um beim Hochladen eines Objekts ohne mehrteilige Veröffentlichung den Header "Content-MD5" zu senden. Wenn diese Option aktiviert ist, hat dies einige Einflüsse auf die Leistung von s3fs beim Hochladen kleiner Objekte. Da s3fs beim Hochladen eines großen Objekts immer MD5 überprüft, wirkt sich diese Option nicht auf ein großes Objekt aus.
Dies ist eine Option, die niemals eine Option gewesen sein sollte - sie sollte immer aktiviert sein, da dies eine kritische Integritätsprüfung umgeht und nur einen vernachlässigbaren Leistungsvorteil bietet. Wenn ein Objekt mit einem Content-MD5:Header in S3 hochgeladen wird, überprüft S3 die Prüfsumme und lehnt das Objekt ab, wenn es während der Übertragung beschädigt ist. So unwahrscheinlich dies auch sein mag, es scheint kurzsichtig, diese Sicherheitsüberprüfung zu deaktivieren.
Zitate stammen aus der Manpage von s3fs. Grammatikfehler sind im Originaltext enthalten.