Hinzufügen von 60 TB Speicher zu einem SLES 10-Server

Ich muss einem SLES 10-Server einen Archiv- / Staging-Speicher hinzufügen. Die Anforderung besteht darin, ziemlich große Volumes (9-20 TB, jeweils ca. 60 TB oder so insgesamt) zu präsentieren, die zum Speichern von Archivdaten (im wahrsten Sinne des Wortes für eine Bibliothek) verwendet werden, die große Bilddateien enthalten (größtenteils 150 Meg Tiff). und große Tarballs. Die Daten werden überwiegend voreingenommen sein, um E / A zu lesen, sicherlich> 95% und wahrscheinlich über 99%.

Der Speicher wurde bereits gekauft - ein Dell MD3000 SAS-Array, das mit 2 MD1000 verkettet ist, die vollständig mit SATA-Laufwerken mit 2 TB und 7200 U / min gefüllt sind, insgesamt 45 Laufwerke. Der Stapel von Arrays wird über zwei externe SAS-Adapter mit zwei Ports verbunden, dh es gibt 4 Pfade zum Stapel.

Meine Absicht ist es, diese als einen Satz von 4 Volumes zu konfigurieren, die auf 4 RAID-Gruppen mit einem Hotspare pro Array sitzen. Alle Gruppen sind RAID 6 mit 7 oder 14 Laufwerken, und jede RAID-Gruppe wird als einzelne LUN dargestellt, wobei die gesamte Kapazität dieser Gruppe genutzt wird. Auf der SLES-Seite müssen diese als XFS-Volumes formatiert werden.

Ich habe nur begrenzte Erfahrung mit SLES (und Linux im Allgemeinen) und suche nach Empfehlungen dazu, insbesondere:

1. Gibt es bestimmte Dinge, die beim Konfigurieren von XFS-Volumes dieser Größe unter SLES 10 zu beachten sind, dh sind die Standardeinstellungen angesichts des E / A-Profils in Ordnung?
2. Was ist der beste Weg, um diese zu initialisieren \ partition \ formatieren? Ich habe Parted verwendet, um eine Datenträgerbezeichnung festzulegen, und den YAST Partition Manager (der alle Standardeinstellungen akzeptiert), um das XFS-Volume für meinen ersten Test zu erstellen und zu formatieren.
3. Wie richte ich Multipathing ein? Wenn ich ein erstes Testvolumen präsentiere, erscheint es als vier separate Geräte (/ dev / sdl, / dev / sdm, / dev / sdn und / dev / sdn). Was mache ich, um damit als einzelnes Volume zu arbeiten?
4. Bei meinen ersten Tests sehe ich Übertragungsraten von einem vorhandenen EMC Clariion SAN-Volumen von etwa 30 Meg / s. Dies ist viel weniger als ich erwartet hätte, selbst wenn man die RAID 6-Schreibstrafe berücksichtigt, von der ich erwartet hatte, dass sie etwas im Ballpark von 70-100 Meg / s sieht.
5. Wie kann ich feststellen, ob alles in Ordnung ist - wo soll ich nach Fehlern \ Warnungen usw. suchen? Der Start des YAST Partition-Editors dauert beispielsweise sehr lange, und ich möchte verstehen, warum.
6. Würden Sie dies anders partitionieren und \ oder ein anderes Dateisystem verwenden und wenn ja, warum?

Der Server ist ein Dell 2950 - Ich habe die detaillierten Spezifikationen nicht überprüft, aber oben zeigt die Auslastung höchstens im niedrigen einstelligen Bereich.

Bei meinem vorherigen Job hatten wir ein ähnliches Problem. Wir produzierten für Planetarien und jeder Rahmen hatte 64 Megapixel. Viele große Bilder. Diese würden für jedes Theater in einem sehr aggressiven Lesevorgang über einen Cluster von Computern verarbeitet.

Der Server hatte in diesem Fall ein ähnliches Speicher-Setup. Mehrere externe direkt angeschlossene RAID-Arrays. Jedes dieser Volumes befand sich in RAID6-Volumes, die dem Host zur Verfügung gestellt und unter LVM (Logical Volume Manager) einer VG (Volume Group) hinzugefügt wurden. Jede Show / Produktion würde dann ihr eigenes LV (Logical Volume) -formatiertes XFS erhalten, das wir bei Bedarf mit dem Projekt erweitern würden.

Wenn Ihre Datensätze ziemlich statisch sind oder auf vorhersehbare Weise wachsen, sollte dieser Ansatz für Sie gut funktionieren. Aber seien Sie vorsichtig, dieser Ansatz hat einen Nachteil. Am Ende müssen Sie die LVs in Ihrem Speicher mikroverwalten. Einige Administratoren bevorzugen es so, andere würden versuchen, es zu vermeiden. Auf diese Weise können Sie jedoch jedes LV- und XFS-Dateisystem erweitern, wenn das Dataset wächst. Halten Sie Ihre XFS-Volumes so klein wie möglich, damit Sie nicht mit einem fsck hängen bleiben, dessen Fertigstellung Jahre dauert. Und kann als Schadensbegrenzung dienen, wenn ein Dateisystem nach Süden geht.

Haftungsausschluss: Wenn ich dies heute einrichten würde, würde ich OpenSolaris und ZFS verwenden. Hauptsächlich b / c vermeidet es die Probleme bei der Mikromanagement und ist ein überlegener Dateisystem- / Volume-Manager. Vielleicht möchten Sie sich das auch ansehen.

Ich würde so viel mehr enthalten sein, um mehr Festplatten und RAID 10 zu kaufen.

Ich hatte schreckliche Probleme mit Hunderten von 1-TB-FATA-Festplatten (FATA), die wir vor einiger Zeit gekauft haben. Diese kosten jeweils 1.000 GBP und ich verliere 5% pro Monat! Grundsätzlich sind sie nicht für einen 24x7-Arbeitszyklus ausgelegt, und dass Sie möglicherweise dieselben Probleme haben, ist der Grund, warum ich R10 empfehlen würde.

RAID6 ist ein Schritt in die richtige Richtung, aber wenn Sie die Möglichkeit haben, würde ich mindestens eine Festplatte als Ersatzlaufwerk beiseite lassen - wenn eine Festplatte irgendwo auf Ihrem Array stirbt, springt sie hinein und streift, während sie auf Sie wartet Ersetzen Sie die ausgefallene Festplatte. Stellen Sie zu diesem Thema sicher, dass mindestens 2 oder 3 Ersatzfestplatten vor Ort zum Austausch bereitstehen, und stellen Sie sicher, dass Sie über alle Warneinstellungen verfügen, um Sie rund um die Uhr über Probleme zu informieren.

Was die Leistung angeht, so sind diese 2-GB-Festplatten für eine 7,2-KB-Festplatte nicht so lässig, und SAS kann sehr schnell sein. Daher würde ich erwarten, dass die von Ihnen erwähnten sequenziellen Lesevorgänge mit 70 MBit / s erfolgen - offensichtlich sind Zufälle und Schreibvorgänge ziemlich niedrig.

Es tut mir leid, wenn ich negativ aussehe. Ich habe seit Jahren mit Speicherplatz zu kämpfen und kann nur mit Enterprise-Festplattensystemen problemlos schlafen. Ich habe gerade zu viele 48/72-Stunden-Schichten gezogen, um die unteren Gänge zu reparieren.