Ist der dynamische Datenträgerpool vergleichbar, wenn über RAID hinaus nach Festplattenclustern auf einem Server gesucht wird? [geschlossen]

Mit der Entwicklung von hyperkonvergenten Systemen können wir andere Technologien als RAID für den Umgang mit verteiltem Speicher sehen (wie z. B. Ceph oder VSAN oder verteilter Speicher wie in Nutanix).

Aber gibt es Open-Source-Technologie-Derivate aus dem Objektspeicher, die ich auf einem einzelnen Server mit viel großem Datenträger verwenden kann, sagen wir ein Dutzend 12To-SATA-Datenträger, die die Datensicherheit gewährleisten, jedoch ohne den Nachteil einer enormen Wiederherstellungszeit beim Ersetzen eines Platte. Dynamic Disk Pool ist also eine Form von De-Clustered-RAID, das auf Blockebene wie iscsi oder auf Dateisystemebene wie zfs oder brtrfs verwendet werden kann.

Ich möchte eine ähnliche Funktion wie ein SYNOLOGY-Schacht (NFS, iscsi-Ziel, SMB) bereitstellen, jedoch ohne RAID für den Blockspeicher.

Vielen Dank für Ihre Angaben.

raid hard-drive storage

— Dominix
quelle

Haben Sie (zum Beispiel) ein RAID 5-Array mit einem sechsten Laufwerk als Ersatzlaufwerk in Betracht gezogen?

— Mike Waters

Jeder empfiehlt, RAID5 nicht für große Volumes zu verwenden. Übrigens bedeutet raid5 nicht 5 Festplatten. Aber ja, Hot Spare wird empfohlen, aber ich habe bereits Probleme mit Hot Spare, manchmal starb Hot Spare, weil sie sich seit Jahren drehen, bevor sie verwendet wurden.

— Dominix

Sie benötigen mehr Festplatten. Die einzige Lösung zur Wiederherstellung der Verzögerung ist mehr Redundanz. Auch Löschcodes.

— Dan D.

Antworten:

Für ein einzelnes System würde ich wirklich empfehlen, bei bekannten und ausführenden RAID-Arrays zu bleiben. Objektspeicher haben im Vergleich zum klassischen Block- / Dateizugriff erhebliche Leistungseinbußen. Wenn Sie nicht skalieren, verlieren Sie viele ihrer Vorteile.

Abgesehen von klassischem RAID haben Sie jedoch folgende Möglichkeiten:

keine Angst , die einen Replikationsansatz auf Dateiebene anstelle eines auf Blockebene verwendet
glusterfs , Konfigurieren eines anderen Bausteins für jede Festplatte und Anwenden einer replica 2Richtlinie
zfs, das, obwohl blockbasiert, nicht 100% identisch mit klassischem Software- oder Hardware-RAID ist

Beachten Sie auch , dass Objektspeicher ist nicht niedriger garantieren Wiederherstellungszeit; Im Gegenteil, es bewältigt lange Neuerstellungen, indem es strengere Replikationsrichtlinien garantiert (dh replica 3über verschiedene Racks hinweg).

— Shodanshok
quelle

Der große Vorteil von ZFS in meinem Buch ist, dass es Ihnen tatsächlich sagen kann, welche Datei (en), falls vorhanden, beschädigt wurden. und wenn Sie sie lesen können, wissen Sie, dass sie nicht korrumpiert sind. (Außer wenn Sie es getan haben zfs set checksum=off, aber ich kann mir nicht vorstellen, warum jemand ZFS ausführen und dies tun würde.) Selbst ohne Speicherredundanz kann dies ein großer Vorteil sein, da Sie genau wissen, welcher Ihrer Chefs , wichtige Tabellenkalkulationen ... müssen aus dem Backup wiederhergestellt werden.

— Ein Lebenslauf

"Das gewährleistet die Datensicherheit, jedoch ohne den Nachteil einer enormen Wiederherstellungszeit beim Ersetzen einer Festplatte."

Sie täuschen sich darin, dass Sie glauben, Software könne die Realität verändern - also die Physik. Die großen Wiederherstellungszeiten sind im Wesentlichen darauf zurückzuführen, dass eine vollständige Disc geschrieben werden muss. Wenn Sie 2 TB Informationen auf eine Disc schreiben, dauert dies lange, da sich die Discs so verhalten. Insbesondere, wenn Sie mehrere Discs lesen MÜSSEN, um die fehlenden Daten im ersten Schritt zu erhalten (Raid 5,6 analog). Es gibt Details darüber, wie "dumm" Software sein kann (dh Zeit zusätzlich zum physischen Minimum hinzufügen), aber das Minimum ist bereits Stunden, wenn Sie von langsamen großen SATA-Discs sprechen.

Alle anderen Technologien, die Sie erwähnen, müssen sich an dieselbe problematische Zeit halten, die Sie vermeiden möchten, weil - Physik.

Und es hilft nicht, dass Ihr Clusternetzwerk - wenn Sie eine Replikation des Netzwerks durchführen - 10 g oder weniger verwendet (was der wahrscheinlichste Fall ist), anstatt 40 g oder 100 g zu verwenden.

— TomTom
quelle

Mein Arbeitgeber stellt einen Netzwerkanalysator her, bei dem es sich im Wesentlichen um einen Standard-PC mit 2 * 100 GbE-Standard-NICs handelt, der unkomprimierten Video-Streaming-Verkehr in Echtzeit analysiert. Es ist also nicht ganz ausgefallen, aber pragmatisch gesehen werden Netzwerkgeschwindigkeiten wahrscheinlich einen zusätzlichen Engpass darstellen.

— Jörg W Mittag

Nun, meine Server sind heutzutage alle 2 x 100 GB groß - aber dann verkauft die IT-Abteilung meines Hauptkunden 1 GB (!) Backend-Netzwerkgeschwindigkeit als "hohe Leistung". Die Welt scheint auf Prople zu laufen, die nicht einmal wissen, was High-End ist.

— TomTom

Würde die Wiederherstellungszeit nicht drastisch reduziert, wenn alle Festplatten SSD wären?

— Mike Waters

Hängt davon ab. Ok, nein - ja, es würde reduziert, aber SATA erreicht auch eine Höchstgeschwindigkeit von 600 MB / s. Wenn Sie ein hyperkonvergentes Netzwerk betreiben, bedeutet dies auch, dass es über das Netzwerk gehen muss. Und Sie brauchen nicht einmal alle SSDs - ein anständiger SSD-Cache sollte auch beim Lesen und Schreiben helfen (ich verwende auf jedem Server einen 3,6-GB-SSD-Cache). Aber dann braucht man wirklich ein Rückgrat, um damit fertig zu werden.

— TomTom

Mike sagte SSD, nicht SATA. Es gibt einige mit PCIe verbundene SSDs, die schneller als 600 MB / s sind.

— Peter Cordes