Hadoop JBOD-Festplattenkonfiguration auf dem HP Smart Array 410 / i-Festplattencontroller

8

Ich befinde mich in einer Evaluierungsphase eines Hardware, die zum Einrichten eines Hadoop-Clusters verwendet werden könnte. Dieses Hardware wurde renoviert (HP G6 Server mit Smart Array 410 / i Controller) und wahrscheinlich sollten / müssen wir es verwenden ... wir haben es noch nicht. Ich habe gelesen, dass der 410 / i-Controller keine von hadoop geforderte JBOD-Konfiguration zulässt. Gibt es jemanden, der diese Aussage bestätigen könnte? Oder nicht ? Scheint, dass eine Problemumgehung darin bestehen könnte, raid0 auf jeder einzelnen Festplatte zu konfigurieren. Wieder bestätigt es jemand oder gibt es andere Konfigurationsmöglichkeiten? Danke Rob

— Nysalsa
quelle

7

Mit dem Smart Array 410 / i-Controller können nur 2 RAID-Geräte erstellt werden, ohne dass die optionale Speicherkarte hinzugefügt wurde. Wenn Ihre Hardware also nur 2 Laufwerke hat, ist dies in Ordnung. du kannst es einfach 2 raid0's machen. Wenn Sie mehr als 2 Laufwerke haben, müssen Sie wahrscheinlich das BBWC-Speichermodul mit batteriegepuffertem Schreibcache (Teilenummer 462974-001 - 256 MB) erwerben. Wenn Sie sich nicht sicher sind, probieren Sie es im Konfigurationsdienstprogramm aus. Es wird sich beschweren, dass die Anzahl der konfigurierten RAID-Geräte begrenzt ist, wenn Sie das Speicher-Addon erwerben müssen.

Ich habe kürzlich einen ZFS-Server eingerichtet, der jeweils eine dieser und 12 Festplatten im RAID0-Modus verwendet, und er funktioniert einwandfrei. Da Sie so ziemlich alle Funktionen des eigentlichen RAID-Controllers deaktivieren können, entspricht dies praktisch dem JBOD-Modus.

— Erik
quelle

4

Während Sie auf diesem Controller mehrere RAID 0 für die Verwendung mit ZFS erstellen können, tritt ein Problem auf, wenn eine Festplatte ausfällt. ZFS erkennt den Ersatz erst, wenn Sie neu starten.

— ewwhite

4

Diese Situation ähnelt der beim Entwerfen von Hardware für ZFS-Speicherlösungen. ZFS ist ein Software-RAID und nutzt die Ressourcen des Servers für die Datenträgerverwaltung. Hardware-RAID wird nicht empfohlen, und JBOD ist mit Smart Array-Controllern nicht wirklich möglich. Wenn ich ProLiant-Systeme für ZFS verwende, ersetze ich den Smart Array-Controller durch einen Controller mit einem JBOD-Modus oder einem einfachen SAS / SATA-HBA.

In der Regel handelt es sich hierbei um einen LSI SAS-HBA (ohne RAID-Funktionen). Ich bevorzuge den LSI 9211-8i oder 9205e.

Siehe die Empfehlungen unter: Empfehlungen für ZFS SAS / SATA-Controller

— ewwhite
quelle

0

Während der Pxxx-Bereich keine direkte JBOD-Konfiguration zulässt, wenn Sie nur ein Array von allen Ihren Festplatten erstellen und dann mehrere RAID0-Arrays mit den entsprechenden Größen erstellen, sind Sie hinsichtlich der funktionalen Ähnlichkeit ziemlich genau da. Das heißt, ich bin auch ein wenig zweifelhaft in Bezug auf die Anforderungen von Hadoop. Erstens kann es nicht sagen, wie die tatsächliche Festplattenkonfiguration im BIOS verborgen ist, und zweitens, weil sie angesichts der guten Einschätzung der HP-Controller zu streng ist das Problem mit dem Array, das seine Festplatten verwaltet?

— Chopper3
quelle

3

Vielen Dank für die Antwort. HDFS (Hadoop File System) verfügt über eine integrierte Redundanz, indem Blöcke über mehrere Knoten hinweg repliziert werden. RAID 0 ist langsamer als die von HDFS verwendete JBOD-Konfiguration, da die E / A durch die Geschwindigkeit der langsamsten Festplatte im RAID-Array begrenzt ist. E / A auf JBOD ist unabhängig, sodass die durchschnittliche Geschwindigkeit höher ist als die der langsamsten Festplatte. Der von Yahoo durchgeführte Test ergab, dass JBOD eine bessere Leistung als RAID 0 erbringt

— nysalsa

0

Sie können RAID0 pro verfügbarer physischer Festplatte konfigurieren.

Angenommen, Sie haben 8 Festplatten, dann haben Sie so etwas (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

— sl0n
quelle

1

Mach das nicht. Sie verlieren die Hot-Swap-Funktionen und haben Probleme mit der Aufzählung von Geräten für die Blockierung logischer Laufwerke. Eine ausgefallene Festplatte == fehlgeschlagenes logisches Laufwerk == neues Gerät, das beim Ersetzen erstellt wurde.

— ewwhite

1

Die "How-Swap-Funktionen"? Sie meinen, ich kann eine ausgefallene Festplatte im "Online" -Modus nicht ersetzen, dh ich müsste meinen Server ausschalten, bevor ich die ausgefallene Festplatte austauschen kann? In Bezug auf die Gerätezählung werde ich das überprüfen, ich denke, es ist ein fairer Punkt.

— Sl0n