Wie erstellen Sie große, erweiterbare, gemeinsam genutzte Dateisysteme unter Linux bei AWS?

Was sind akzeptable / vernünftige / beste Möglichkeiten, um großen, erweiterbaren, gemeinsam genutzten Speicher bei AWS bereitzustellen, der als einzelnes Dateisystem verfügbar gemacht wird?

Wir machen derzeit 1 TB EBS-Volumes ~ zweiwöchentlich und NFS exportiert mit no_subtree_check und nohide. In diesem Setup werden unterschiedliche Exporte unter einem einzigen Mount auf dem Client angezeigt. Diese Anordnung lässt sich nicht gut skalieren.

Die Optionen, die wir in Betracht gezogen haben:

LVM2 mit ext4. resize2fs ist zu langsam.
Btrfs unter Linux. noch nicht offensichtlich bereit für die Hauptsendezeit.
ZFS unter Linux. noch nicht offensichtlich bereit für die Hauptsendezeit (obwohl LLNL sie verwendet)
ZFS unter Solaris. Die Zukunft dieser Combo ist (für mich) ungewiss und ein neues Betriebssystem in der Mischung
glusterfs. hörte meistens gute aber zwei gruselige (und vielleicht alte?) Geschichten.

Die ideale Lösung bietet Freigabe, eine einzelne fs-Ansicht, einfache Erweiterbarkeit, Snapshots und Replikation.

Vielen Dank für den Austausch von Ideen und Erfahrungen.

— Reece
quelle

Haben Sie die Zahlen dazu angegeben? Es scheint mir unerschwinglich teuer zu sein ...

— Michael Hampton

Gute Frage. Die Antwort ist irgendwie, aber wir sind früh dran. Unser Datenbedarf ist hoch und der Rechenbedarf ist hoch. Es ist also nicht klar, was mehr kostet: AWS mit teurem Speicher und billigerer Peak-Computing-Lösung oder lokal mit teurem Computing und billigerem Speicher. (Ich bin nicht einmal davon überzeugt, dass die vollständig geladenen Speicherkosten wirklich günstiger sind.) Wir würden wahrscheinlich Archivdaten in Glacier aufbewahren, um die Kosten zu senken (die Einschränkungen funktionieren zufällig für uns).

— Reece

Vergessen Sie nicht die Bandbreitenkosten.

— Michael Hampton

Bei ZFS handelt es sich entweder um Solaris oder FreeBSD, aber wie Sie sagten, ist die Zukunft für Solaris etwas ungewiss, und Open-Source-ZFS steckt in Version 28 (unabhängig vom Betriebssystem) fest.

— Ouki

Wie wäre es mit XFS (zusätzlich zu LVM)? Es ist ausgereifter als ext4 und es besteht die Möglichkeit, inkrementelle Dumps des Dateisystems durchzuführen. Vielleicht möchten Sie den Wikipedia-Artikel und die darin genannten Benchmarks für ext4 überprüfen .

— Peterph
quelle

Danke, Petr. Ich hatte die LVM + XFS-Kombination in Betracht gezogen (und vergessen). Ich bin etwas besorgt über LVM2 und XFS, hauptsächlich über Unsicherheit und neue betriebliche Komplexität für uns. Ich erwarte nicht, dass ich etwas für nichts bekomme (dh erweiterbaren Speicher ohne Aufwand), aber ich möchte den Aufwand und das Risiko für uns minimieren. Was bedeutet es beispielsweise, ein EBS-Volume zu verlieren, das Teil eines RAID1-Arrays ist? Es mag kein Thema sein, aber an diesem Punkt schaffen solche Fragen Unsicherheit für mich. In einer Zeit von ZFS und btrfs hatte ich gehofft, diese Komplexität zu umgehen.

— Reece

@Reece Frage ist, ob Sie dem Geräte-Mapper vertrauen - iirc, der größte Teil des LVM besteht tatsächlich aus User-Space-Tools, die von dm unterstützt werden. Sie würden jedoch einen nicht allzu alten Kernel benötigen (2.6.33+ - siehe Wiki ).

— Peterph