Verschieben des SecondaryName-Knotens in einem Cloudera HBase-Cluster

11

Ich habe den sekundären Namensknoten auf demselben Computer bereitgestellt, der mein Hauptnamensknoten ist:

Dies ist aus Gründen der Leistung und Haltbarkeit falsch (der sekundäre Namensknoten ist kein Ersatzlaufwerk, verfügt jedoch über eine Kopie der erforderlichen Metadaten). Ich habe eine Dokumentation zum Verschieben des Namensknotens gefunden , aber nichts zum Verschieben des sekundären Namensknotens.

Weiß jemand mit Erfahrung, wie man das sicher macht?

hadoop hbase cloudera

— Kyle Brandt
quelle

Gibt es einen Grund, warum Sie die sekundäre Rolle nicht einfach entfernen und dann auf einem anderen Host wieder hinzufügen können? Sie werden vorübergehend keinen sekundären Namensknoten haben, aber das sollte nicht allzu wichtig sein.

— wachsen

@growse: Keine Ahnung - wenn ich antworten könnte, würde ich nicht zufällige Leute im Internet fragen, wie ich meinen HBase-Cluster verwalten soll ;-)

— Kyle Brandt

Ich biete Ihnen daher eine Antwort an :)

— Growse

4

Es sollte sicher genug sein, die Rolle "Secondary Namenode" einfach zu entfernen und sie dann wieder auf einem anderen Knoten im Cluster hinzuzufügen. In der Zwischenzeit wird möglicherweise eine Warnung von Cloudera Manager angezeigt, dass die Rolle nicht vorhanden ist (was zu langfristigen Problemen mit dem Namensknoten führen kann). Wenn Sie jedoch keine Sekundärrolle haben, werden Ihre Daten nicht mehr gefährdet.

— wachsen
quelle

3

Die Aufgabe des 2NN besteht darin, die Änderungen im HDFS-Dateisystem zu lesen und dem hinzuzufügen fsimage. Dies verkürzt die NN-Startzeit, da der NN während des Starts die fsimageDatei liest und dann alle Änderungen des Zwischenprotokolls darauf anwendet. Die Benennung ist etwas unglücklich, da es sich in der Tat nicht um einen Standby- / Backup-NN handelt, sondern nur um ein Dienstprogramm zur Steigerung der NN-Leistung.

In CM gibt es eine Option für "Roll Edits" (abhängig von Ihrer CM-Version) auf dem 2NN, siehe auch "Checkpointing" . Stellen Sie sicher, dass Sie dies tun, bevor Sie umziehen.
Um sicher zu gehen, stoppen Sie alle Dienste
Verschieben Sie die 2NN-Rolle auf einen neuen Computer.
Starten Sie alle Dienste neu
(Optional, aber es lohnt sich): Implementieren Sie HA

— c4urself
quelle