Dateiserver - Speicherkonfiguration: RAID vs LVM vs ZFS noch etwas…?

Wir sind ein kleines Unternehmen, das unter anderem Videobearbeitungen durchführt und einen Ort benötigt, an dem Sicherungskopien großer Mediendateien aufbewahrt und deren Weitergabe vereinfacht werden kann.

Ich habe eine Box mit Ubuntu Server und 4 x 500 GB Laufwerken eingerichtet. Sie sind derzeit mit Samba als vier freigegebene Ordner eingerichtet, die auf Mac / Windows-Arbeitsstationen problemlos angezeigt werden können, aber ich möchte eine bessere Lösung. Dafür gibt es zwei Hauptgründe:

1. 500 GB sind nicht groß genug (einige Projekte sind größer)
2. Die Verwaltung des aktuellen Setups ist umständlich, da auf den einzelnen Festplatten unterschiedliche Mengen an freiem Speicherplatz und duplizierten Daten (für die Sicherung) vorhanden sind. Es ist jetzt verwirrend und das wird nur schlimmer, wenn es mehrere Server gibt. ("das projekt ist auf sever2 in share4" etc)

Ich brauche also eine Möglichkeit, Festplatten so zu kombinieren, dass ein vollständiger Datenverlust beim Ausfall einer einzelnen Festplatte vermieden wird und die Benutzer nur eine einzige Freigabe auf jedem Server sehen. Ich habe Linux-Software RAID5 gemacht und hatte eine schlechte Erfahrung damit, würde es aber noch einmal versuchen. LVM sieht in Ordnung aus, aber es scheint, als würde es niemand verwenden. ZFS scheint interessant, aber es ist relativ "neu".

Was ist die effizienteste und risikoärmste Methode, um die für meine Benutzer geeigneten Festplatten zu kombinieren?

Bearbeiten: Das Ziel hier ist im Wesentlichen, Server zu erstellen, die eine beliebige Anzahl von Festplatten enthalten, aber die Komplexität aus Endbenutzersicht begrenzen. (dh sie sehen einen "Ordner" pro Server) Das Sichern von Daten ist hier kein Problem, aber wie jede Lösung auf Hardwarefehler reagiert, ist ein ernstes Problem. Deshalb habe ich RAID, LVM, ZFS und wer weiß was zusammen.

Meine früheren Erfahrungen mit RAID5 bezogen sich auch auf eine Ubuntu-Server-Box, und es gab schwierige und unwahrscheinliche Umstände, die zu einem vollständigen Datenverlust führten. Ich konnte das wieder vermeiden , hatte jedoch das Gefühl, dass ich dem System eine unnötige zusätzliche Fehlerquelle hinzufügte.

Ich habe RAID10 nicht verwendet, aber wir arbeiten mit Standardhardware und die meisten Datenlaufwerke pro Box sind auf 6 festgelegt. Wir haben viele 500-GB-Laufwerke und 1,5 TB sind ziemlich klein. (Immer noch eine Option für mindestens einen Server)

Ich habe keine Erfahrung mit LVM und habe widersprüchliche Berichte darüber gelesen, wie es mit Laufwerksfehlern umgeht. Wenn ein (nicht gestreiftes) LVM-Setup einen Ausfall eines einzelnen Laufwerks behandeln und nur die Dateien verlieren könnte, die einen Teil auf diesem Laufwerk gespeichert haben (und die meisten Dateien nur auf einem einzelnen Laufwerk), könnten wir sogar damit leben.

Aber solange ich etwas völlig Neues lernen muss, kann ich auch bis zu ZFS gehen. Im Gegensatz zu LVM müsste ich jedoch auch mein Betriebssystem ändern (?), Um die Entfernung zwischen meinem Standort und dem gewünschten Standort zu vergrößern. Ich habe eine Version von Solaris an der Uni benutzt und es würde mir trotzdem nichts ausmachen.

Auf der anderen Seite des IT-Spektrums denke ich, dass ich mich auch mit FreeNAS und / oder Openfiler befassen kann, aber das löst das Problem, wie man Laufwerke kombiniert, nicht wirklich.

LVM wird eigentlich ziemlich stark genutzt. Grundsätzlich befindet sich LVM über der Hardware- (Treiber-) Schicht. Es fügt keine Redundanz oder erhöhte Zuverlässigkeit hinzu (es stützt sich auf das zugrunde liegende Speichersystem, um die Zuverlässigkeit zu gewährleisten). Stattdessen bietet es viel zusätzliche Flexibilität und zusätzliche Funktionen. In LVM sollte ein Datenträger niemals verschwinden oder ausfallen, da der Datenträgerfehler von RAID behandelt werden sollte (sei es Software oder Hardware). Wenn Sie eine Festplatte verlieren und nicht weiterarbeiten können (RAID neu erstellen usw.), sollten Sie Backups durchführen. Der Versuch, Daten von einem unvollständigen Array wiederherzustellen, sollte niemals erforderlich sein (wenn dies der Fall ist, müssen Sie Ihr gesamtes Design neu bewerten).

Mit LVM erhalten Sie unter anderem die Möglichkeit, Partitionen / Dateisysteme einfach zu vergrößern und zu verkleinern, neue Partitionen dynamisch zuzuweisen, vorhandene Partitionen zu sichern und die Snapshots als schreibgeschützte oder schreibgeschützte Partitionen bereitzustellen. Schnappschüsse können unglaublich nützlich sein, insbesondere für Dinge wie Backups.

Persönlich benutze ich LVM für jede Partition (außer / boot) auf jeder Box, die ich baue, und das seit 4 Jahren. Der Umgang mit Boxen, die nicht LVM-fähig sind, ist ein großes Problem, wenn Sie Ihr Festplattenlayout hinzufügen oder ändern möchten. Wenn Sie Linux verwenden, möchten Sie auf jeden Fall LVM verwenden. [Hinweis: Die obigen Informationen zu LVM wurden aktualisiert, um besser zu erklären, was es ist und wie es in die Speichergleichung passt.]

Was RAID betrifft, mache ich keine Server ohne RAID. Bei so günstigen Festplattenpreisen würde ich RAID1 oder RAID10 wählen. Schneller, einfacher und wesentlich robuster.

Mal ehrlich, es sei denn, Sie sind mit Ubuntu verheiratet (was ich normalerweise empfehlen würde), oder wenn die Box andere Aufgaben ausführt, möchten Sie sich vielleicht mit OpenFiler befassen . Es verwandelt Ihre Box in eine Speicher-Appliance mit einer Web-Oberfläche und übernimmt für Sie alle RAID- / LVM- / usw.-Aufgaben. Außerdem können Sie den Speicher als SMB, NFS, iSCSI usw. exportieren.

ZFS ist sehr zuverlässig und erleichtert Ihnen das Speichermanagement um ein Vielfaches. Als Bonus: smb ist in ZFS in OpenSolaris integriert und es geht sehr gut mit Raid um. Warten Sie ein paar Tage, laden Sie die bis dahin veröffentlichte Version 2009.6 herunter und testen Sie sie auf einer Testmaschine. Ich bin sicher, Sie werden ZFS lieben.

Und über Ihren Kommentar, dass ZFS neu ist: nicht mehr sehr neu!

Die zentrale Frage lautet: "Wie wichtig sind diese Daten?"

Lautet die Antwort "Ich kann es problemlos neu erstellen", möchten Sie RAID5, möglicherweise mit LVM darüber, um die Verwaltung zu vereinfachen.

Wenn die Antwort "Ich kann es neu erstellen, aber es würde eine Weile dauern und die Leute würden sich beschweren" lautet, möchten Sie RAID 6 oder wahrscheinlicher RAID 1/10.

Wenn die Antwort lautet "Niemand erledigt etwas, während ich es neu erstelle und sicherstelle, dass es ein bisschen perfekt ist", möchten Sie ZFS / Raid-Z

Beachten Sie, dass Sie es immer wieder neu erstellen können. RAID ist kein Backup.

Um viele Laufwerke im selben Gehäuse anzuschließen, ist ein Hardware-RAID-Controller das beste Werkzeug. Es bietet viele SATA-Anschlüsse für Ihre Laufwerke, Redundanz über RAID-5 oder vorzugsweise RAID-6 und möglicherweise auch eine bessere Leistung.

Die Leistung von Software-RAID ist in Benchmarks häufig besser als die von Hardware-RAID. Dateiserving und Software-RAID sind jedoch sowohl CPU-intensiv als auch konkurrieren bei der Arbeit um Ihre Prozessoren. Meine Erfahrung zeigt, dass ein richtig konfiguriertes Hardware-RAID das Software-RAID um Längen schlägt, es sei denn, Sie verwenden Dual-Quad-Core-Systeme.

Gute Hardware-Controller mit guter Linux-Unterstützung:

• Areca
• 3Ware
• die neue adaptec serie (die alten sind slooooow)
• LSI MegaRAID

RAID ist NICHT wie LVM. Sie können RAID verwenden, um fehlertolerante Partitionen zu erstellen, aber LVM wird verwendet, um die Festplattenpartitionierung und die Dateisystem-Edition zu vereinfachen. Sie können RAID über LVM oder ZFS verwenden (ZFS kann sowohl RAID als auch LVM unterstützen). Meiner Meinung nach funktioniert ZFS besser als LVM, aber:

• Nur unter Solaris 10/11 / OpenSOlaris kann es nicht unter Linux verwendet werden
• ZFS ist Festplattenmanagement und Dateisystem. LVM ermöglicht die Verwendung aller benötigten Dateisysteme

Unter Ubuntu bevorzuge ich RAID5 MD mit LVM.

Werfen Sie einen Blick auf das Angebot von Nexenta und OpenSolaris und ich denke, Sie werden sehr zufrieden sein, dass Sie es für nichts bekommen können. Es wird gemunkelt, dass die nächsten Versionen von OpenFiler auch den FreeBSD-ZFS-Port verwenden werden (allerdings liegen sie aus Sicht der Funktionen ziemlich zurück).

Abgesehen davon versuche ich, RAID5, RAID6 oder RAID50 in der Software zu vermeiden und bevorzuge es, Hardware-Controller zu verwenden, um die gesamte XOR-Arbeit auszulagern. RAID1 und RAID10 in Linux-Software funktionieren ziemlich gut, und von da an habe ich LVM darüber gelegt, um mehr Flexibilität bei der Arbeit mit den Blöcken zu ermöglichen, die ich nach der vorhandenen Redundanz habe. RAID + LVM + XFS ist meine Lieblings-Linux-Konfiguration, aber ich würde ZFS jeden Tag übernehmen.

RAID vs LVM ist kein guter Vergleich, da sie unterschiedliche Rollen haben und häufig zusammen verwendet werden. RAID wird für die Laufwerksredundanz verwendet. LVM kann verwendet werden, um Ihr RAID-Gerät in logische Volumes aufzuteilen. Es dient zur einfachen Größenänderung und zum Erstellen von Snapshots.

Ich habe den Dateiserver für eine sehr ähnliche Firma / Situation betrieben. Grundsätzlich eine 3-Personen-Grafikabteilung mit 30 TB Speicherplatz und dem Budget eines kleinen Unternehmens. Unsere typischen Projekte liefen von 0,5 TB bis 6 TB. Und der Dateiserver bediente eine beträchtliche Rendering-Farm, die es wirklich schaffen konnte.

In meinem Setup habe ich einen 3U-Server unter Linux mit angeschlossenen externen Hardware-RAID6-Arrays ausgeführt. Ich habe die physischen und logischen Volumes mit LVM verwaltet und das XFS-Dateisystem ausgeführt. Was ich tun würde, ist, ein logisches Volume für jedes Projekt zu erstellen und es dann zu erweitern, während das Projekt wächst. Nach Abschluss des Projekts konnte ich den Auftrag auf Band archivieren und das logische Volume wegblasen. Dies würde diesen Speicherplatz an die Datenträgergruppe zurückgeben, wo er dem nächsten Projekt (den nächsten Projekten) neu zugewiesen wird.

Dies war eine sehr saubere Art, unseren Speicher zu nutzen, aber dieser Ansatz hat zwei Nachteile. Am Ende müssen Sie die Größe der logischen Datenträger auf ein Minimum beschränken, um den einem logischen Datenträger zugewiesenen Speicherplatz so auszugleichen, dass Sie genügend Speicherplatz für Ihre Arbeit zur Verfügung haben, diesen jedoch nicht übermäßig zuweisen und am Ende Speicherplatz verschwenden. Unsere Rendering-Farm war in der Lage, täglich viele TB an Daten zu generieren, und wenn Sie dies nicht genau beachten, wird Ihnen in Eile der Speicherplatz ausgehen. Schließlich habe ich einige Skripte eingerichtet, die die Trends im verfügbaren Speicherplatz auf den logischen Datenträgern überwachten und automatisch vergrößerten. Selbst wenn 80 logische Volumes vorhanden waren, war in allen logischen Volumes viel ungenutzter Speicherplatz belegt. Ich habe schon das 2. Problem angedeutet .... LVM nicht ' Thin Provisioning ist nicht wirklich möglich, und mit XFS können Sie nur ein Dateisystem erweitern. Die Zuweisung von Speicherplatz zu einem logischen Datenträger kann also zu einer Menge unbrauchbarem Speicherplatz führen.

Dies war alles vor ungefähr 5 Jahren eingerichtet und wenn ich es heute einrichten würde, würde ich OpenSolaris und ZFS verwenden. Der Hauptgrund ist, dass der Ansatz des ZFS-Poolspeichers weniger Volumenmanagement bedeutet. Sie können jedes Projekt weiterhin in ein eigenes Dateisystem unterteilen, ohne die Größe der einzelnen Volumes im Mikromodus verwalten zu müssen. ZFS hat einige andere sehr nette Funktionen, die es zu einer besseren Wahl machen, aber es gibt noch andere Fragen zu Serverfault, die darauf eingehen.

Meiner Meinung nach ist ZFS einfach die beste derzeit verfügbare kostenlose Lösung.

Einige Dinge zu beachten, wenn Sie mit Linux bleiben:

• Denken Sie auch an das Dateisystem. Ihr 4x 500GB Beispiel ist ungefähr die größte Kapazität, die ich mit gutem Gewissen für ext3 empfehlen würde. Ich empfehle nicht, viel größere ext3-Dateisysteme zu erstellen, da zB die fsck-Zeit enorm sein kann. Erstellen Sie mehrere kleinere anstelle eines großen Dateisystems.
• Wie Sie bereits erwähnt haben, verarbeitet ext3 große Dateien ineffizient, da es indirekte, doppelt indirekte und dreifach indirekte Metadatenblöcke erstellen muss, um die Daten großer Dateien zu speichern, und Sie zahlen den Preis. Heutzutage unterstützt ext4 Extents und handhabt dies viel besser. Aber dann ist es ziemlich neu und zB Red Hat Enterprise Linux 5 unterstützt es noch nicht. (Einige Enterprise-Distributionen unterstützen Alternativen wie XFS.)
• Wenn Daten auf einem Datenblock beschädigt sind, fällt es Ihnen schwer, dies auch bei Linux-Dateisystemen zu bemerken. ZFS auf der anderen Seite Prüfsummen alle Metadaten und Daten und auch überprüft die Prüfsumme jedes Mal , wenn Daten von der Festplatte gelesen werden . (Es gibt auch Hintergrundschrubben)
• Die RAID- Neuerstellungszeit unter Linux ist proportional zur Festplattengröße, da die RAID-Ebene den Inhalt des Dateisystems (der Ebene) nicht kennt. Die RAID-Z-Wiederherstellungszeit von ZFS hängt von der Menge der tatsächlichen Daten auf der ausgefallenen Festplatte ab, da nur die verwendeten Blöcke auf eine Ersatzfestplatte kopiert / wiederhergestellt werden.
• Möchten Sie ein Snapshot Ihres Dateisystems erstellen? LVM-Snapshots lassen sich nicht einmal mit den sofortigen Snapshots von ZFS vergleichen. Letzteres kann den Endbenutzern auch leicht zugänglich gemacht werden, z. B. für einfache Wiederherstellungen.
• Verwenden Sie RAID6 (RAID-Z2) und nicht nur RAID5 (RAID-Z) mit großen Festplatten (> 500 GB), da die Wahrscheinlichkeit groß ist, dass eine andere Festplatte während der Wiederherstellung ausfällt.

Verwenden Sie das Dienstprogramm "mdadm", um ein RAID-5-Array aus Ihren Laufwerken zu erstellen.

Dies bietet die Redundanz, die Sie benötigen. Wenn ein Laufwerk nicht mehr funktioniert, können Sie es ohne Datenverlust ersetzen und 3 der 4 Laufwerke nutzen.

Ich empfehle außerdem, ein LVM-Volume über dem RAID zu erstellen, damit Sie den Speicherplatz nach Bedarf partitionieren können.

Vielleicht möchten Sie einen Blick auf AFS werfen. Auf diese Weise können Sie sowohl die Verfügbarkeit (Sie können auf diese Dateien sowohl im Netzwerk als auch außerhalb des Netzwerks zugreifen) als auch die Redundanz (Dateien können repliziert werden) beurteilen. In einem Workflow, in dem Sie eine Datei öffnen, einige Zeit bearbeiten und dann speichern, ist dies (vom Netzwerk aus gesehen) besser als NFS, zumindest älteres NFS.

Wie die andere Antwort besagt, ist LVM weit verbreitet und kann mehrere Festplatten zu einer einzigen "Datenträgergruppe" zusammenfassen, die wie ein großes Blockgerät aussieht. Es ist jedoch zu beachten, dass dies die Wahrscheinlichkeit eines Ausfalls erhöht. Es ist nur ein Datenträger erforderlich, um in einer Datenträgergruppe das gesamte Dateisystem zu entfernen. Wenn Sie vier Datenträger miteinander verbunden haben, ist dies viermal wahrscheinlicher. Verwenden Sie LVM am besten auf einem RAID1 oder ähnlichem, um dies zu mildern. Linux-Software-RAID ist hierfür völlig ausreichend, obwohl Hardware-RAID möglicherweise praktischer ist.

Sorry, das wäre ein Kommentar, aber ich habe nicht den Repräsentanten ...

Wie bietet RAID-Z oder RAIDZ2 eine bessere Redundanz als RAID6?

ZFS hat eine Prüfsumme überall

Über die ursprüngliche Frage. Unabhängig von den Daten würde ich 2 aktive Parität pro 10 Disks verwenden. Ich würde eine RAID-Karte von guter Qualität verwenden, die 3ware-Karten sind ausgezeichnet. Persönlich verwende ich Hardware-RAID mit Batterie-Backup. LVM, damit Sie die Daten am Ende der Lebensdauer der Hardware problemlos migrieren können. XFS als Dateisystem.

Warum verwenden Sie keine Festplatte oder SSD-Karte, um den System-Server zum Booten und die 500 GB als einzigen Speicher zu verwenden? Verwenden Sie eine 500-GB-Festplatte und tauschen Sie sie manuell aus, wenn sie voll ist. Sie können die Sicherung später auf einem anderen Computer in Ruhe durchführen. Denn während sich die Festplatte dreht, kann sie beschädigt werden. Wenn Sie alle Festplatten gleichzeitig anschließen, drehen sich alle und können beschädigt werden, wenn Sie sie verwenden oder nicht. Die Wahrscheinlichkeit eines Ausfalls steigt, wenn mehr Festplatten eingeschaltet sind. Verwenden Sie jeweils eine und tauschen Sie sie aus, wenn sie voll ist oder wenn ein Fehler zu erwarten ist (nutzen Sie auch die SMART-Funktion, um diesen Fehler zu beheben). Verwenden Sie eine Carry Disk oder einen externen SCSI / SATA-Festplattenadapter, damit Sie den Computerserver nicht jedes Mal zerlegen müssen, wenn Sie eine Festplatte austauschen. Das ist die sicherste und zuverlässigste Form. Die Verwendung von RAID ist teurer und Sie verschwenden nur einige Festplatten (weil Sie das Einschalten riskieren, beschädigt zu werden, weil Sie es nur "dumm" schalten ließen oder nicht). Wenn Sie mehr Datenübertragungsraten wünschen, ist die Verwendung einer RAID-Konfiguration meiner Meinung nach eine gute Wahl, aber vertrauen Sie niemals einer Computerkonfiguration. Die Sicherung muss immer manuell mit einer Person (dem Netzwerk- oder Serveradministrator) durchgeführt werden. Das ist eine der Arbeiten eines Administrators. Sie können Bänder, DVDs, BlueRay oder andere Datenträger verwenden, um die Sicherung durchzuführen. Sie benötigen jedoch immer ein zuverlässiges Speichermedium und eine laufende Festplatte ist keine. Eine ausgeschaltete und gut aufbewahrte Platte (an einem frischen und feuchtigkeitsfreien Ort) ist ein zuverlässiges Speichermedium. Wenn Sie mehr Datenübertragungsraten wünschen, ist die Verwendung einer RAID-Konfiguration meiner Meinung nach eine gute Wahl, aber vertrauen Sie niemals einer Computerkonfiguration. Die Sicherung muss immer manuell mit einer Person (dem Netzwerk- oder Serveradministrator) durchgeführt werden. Das ist eine der Arbeiten eines Administrators. Sie können Bänder, DVDs, BlueRay oder andere Datenträger verwenden, um die Sicherung durchzuführen. Sie benötigen jedoch immer ein zuverlässiges Speichermedium und eine laufende Festplatte ist keine. Eine ausgeschaltete und gut aufbewahrte Platte (an einem frischen und feuchtigkeitsfreien Ort) ist ein zuverlässiges Speichermedium. Wenn Sie mehr Datenübertragungsraten wünschen, ist die Verwendung einer RAID-Konfiguration meiner Meinung nach eine gute Wahl, aber vertrauen Sie niemals einer Computerkonfiguration. Die Sicherung muss immer manuell mit einer Person (dem Netzwerk- oder Serveradministrator) durchgeführt werden. Das ist eine der Arbeiten eines Administrators. Sie können Bänder, DVDs, BlueRay oder andere Datenträger verwenden, um die Sicherung durchzuführen. Sie benötigen jedoch immer ein zuverlässiges Speichermedium und eine laufende Festplatte ist keine. Eine ausgeschaltete und gut aufbewahrte Platte (an einem frischen und feuchtigkeitsfreien Ort) ist ein zuverlässiges Speichermedium. Sie benötigen jedoch immer ein zuverlässiges Speichermedium und eine laufende Festplatte ist keine. Eine ausgeschaltete und gut aufbewahrte Platte (an einem frischen und feuchtigkeitsfreien Ort) ist ein zuverlässiges Speichermedium. Sie benötigen jedoch immer ein zuverlässiges Speichermedium und eine laufende Festplatte ist keine. Eine ausgeschaltete und gut aufbewahrte Platte (an einem frischen und feuchtigkeitsfreien Ort) ist ein zuverlässiges Speichermedium.