Masterknoten in Hadoop-Clustern - Dummys

Die Master-Knoten in verteilten Hadoop-Clustern hosten die verschiedenen Speicher- und Verarbeitungsverwaltungsdienste, die in dieser Liste für den gesamten Hadoop-Cluster beschrieben werden. Redundanz ist entscheidend, um einzelne Fehlerpunkte zu vermeiden, daher sehen Sie zwei Switches und drei Master-Knoten.

• NameNode: Verwaltet den HDFS-Speicher. Um eine hohe Verfügbarkeit zu gewährleisten, haben Sie sowohl einen aktiven NameNode als auch einen Standby-NameNode. Jeder läuft auf einem eigenen, dedizierten Master-Knoten.

• Checkpoint-Knoten (oder Backup-Knoten): Liefert Checkpointing -Dienste für den NameNode. Dies beinhaltet das Lesen des Bearbeitungsprotokolls des Namensknotens für Änderungen an Dateien in HDFS (neue, gelöschte und angehängte Dateien) seit dem letzten Prüfpunkt und deren Anwendung auf die Masterdatei des Namensknotens, die Dateien Datenblöcken zuordnet.

  Außerdem behält der Sicherungsknoten eine Kopie des Dateisystemnamensraums im Speicher und hält ihn mit dem Status des Namensknotens synchron. Verwenden Sie für Bereitstellungen mit hoher Verfügbarkeit keinen Prüfpunktknoten oder Sicherungsknoten. Verwenden Sie stattdessen einen Standby-Namensknoten. Der Standby NameNode verwaltet nicht nur einen aktiven Standby für den NameNode, sondern verwaltet auch die Checkpointing-Dienste und hält eine aktuelle Kopie des Dateisystem-Namespace im Speicher.

• JournalNode: Empfängt Änderungen am Bearbeitungsprotokoll, die Änderungen an Dateien in HDFS vom NameNode anzeigen. Mindestens drei JournalNode-Dienste (und es ist immer eine ungerade Zahl) müssen in einem Cluster ausgeführt werden, und sie sind so leichtgewichtig, dass sie mit anderen Diensten auf den Masterknoten verknüpft werden können.

• Ressourcen-Manager: Überwacht die Planung von Anwendungsaufgaben und die Verwaltung der Ressourcen des Hadoop-Clusters. Dieser Service ist das Herz von YARN.

• JobTracker: Für Hadoop 1-Server, verwaltet die Clusterressourcenverwaltung und -planung. Mit YARN ist der JobTracker veraltet und wird nicht verwendet. Einige Hadoop-Bereitstellungen wurden noch nicht auf Hadoop 2 und YARN migriert.

• HMaster: Überwacht die HBase-Region-Server und bearbeitet alle Metadatenänderungen. Stellen Sie sicher, dass Sie eine zweite HMaster-Instanz verwenden, um eine hohe Verfügbarkeit sicherzustellen. Der HMaster-Dienst ist leicht genug, um mit anderen Diensten auf den Master-Knoten zusammengeführt zu werden. In Hadoop 1 werden Instanzen des HMaster-Dienstes auf Masterknoten ausgeführt. In Hadoop 2 werden HMaster-Instanzen mit Hoya (HBase on Yarn) in Containern auf Slave-Knoten ausgeführt.

• Zookeeper: Koordiniert verteilte Komponenten und stellt Mechanismen bereit, um sie synchron zu halten. Zookeeper wird verwendet, um den Fehler des NameNode zu erkennen und einen neuen NameNode zu wählen.Es wird auch mit HBase verwendet, um die Zustände des HMasters und der RegionServer zu verwalten.

  Wie beim JournalNode benötigen Sie mindestens drei Instanzen von Zookeeper-Knoten (und immer eine ungerade Zahl), und sie sind leicht genug, um mit anderen Diensten auf den Masterknoten zusammengeführt zu werden.

  

Hier haben Sie drei Masterknoten (mit derselben Hardware), wobei die Schlüsseldienste Active NameNode, Standby NameNode und Resource Manager jeweils einen eigenen Server haben. Auf jedem Server laufen auch JournalNode- und Zookeeper-Dienste, aber diese sind leichtgewichtig und stellen keine Ressourcenkonflikte mit den NameNode- und Resource Manager-Diensten dar.

Die Prinzipien sind die gleichen für Hadoop 1, wo Sie einen dedizierten Masterknoten für die Dienste NameNode, Secondary NameNode und JobTracker benötigen.

Wenn Sie HBase mit Hoya in Hadoop 2 verwenden möchten, benötigen Sie keine zusätzlichen Dienste. Überprüfen Sie für Hadoop 1-Bereitstellungen mit HBase die folgende Abbildung für die Bereitstellung von Diensten auf den Masterknoten des Hadoop-Clusters.

Beim Vergleich dieser Master-Server mit den Hadoop 1-Master-Servern ohne HBase-Unterstützung gibt es zwei Unterschiede: Hier benötigen Sie zwei HMaster-Dienste (einen zum Koordinieren von HBase und einen als Standby-Server) und Zookeeper-Dienste auf allen drei Master-Knoten. Failover umgehen.

Wenn Sie beabsichtigen, Ihren Hadoop 1-Cluster nur für HBase zu verwenden, können Sie auf den JobTracker-Dienst verzichten, da HBase nicht von der Hadoop 1 MapReduce-Infrastruktur abhängt.

Wenn die Leute über Hardware für Hadoop sprechen, betonen sie im Allgemeinen die Verwendung von Commodity -Komponenten - die preiswerten. Da Sie für nur ein paar Hauptknoten (typischerweise drei oder vier) herunterfahren müssen, werden Sie nicht von multiplizierenden Kosten getroffen, wenn Sie zum Beispiel entscheiden, teure Festplattenlaufwerke zu verwenden.

Beachten Sie, dass es ohne Hauptknoten keinen Hadoop-Cluster gibt. Master-Knoten erfüllen eine geschäftskritische Funktion, und obwohl Sie Redundanz benötigen, sollten Sie sie mit hoher Verfügbarkeit und Ausfallsicherheit entwerfen.

Empfohlener Speicher

Bei Hadoop-Masterknoten sind die Speichermerkmale konsistent, unabhängig von der Anzahl der Slave-Knoten oder der Verwendung des Clusters. Verwenden Sie vier 900-GB-SAS-Laufwerke sowie einen RAID-HDD-Controller, der für RAID 1 + 0 konfiguriert ist. SAS-Laufwerke sind teurer als SATA-Laufwerke und haben eine geringere Speicherkapazität, sind jedoch schneller und zuverlässiger.

Durch die Bereitstellung Ihrer SAS-Laufwerke als RAID-Array wird sichergestellt, dass die Hadoop-Verwaltungsdienste für ihre geschäftskritischen Daten einen redundanten Speicher aufweisen. Dadurch erhalten Sie ausreichend stabilen, schnellen und redundanten Speicher zur Unterstützung der Verwaltung Ihres Hadoop-Clusters.

Empfohlene Prozessoren

Zum Zeitpunkt dieses Schreibens empfehlen die meisten Referenzarchitekturen die Verwendung von Motherboards mit zwei CPU-Sockeln mit jeweils sechs oder acht Kernen. Die Intel Ivy Bridge-Architektur wird häufig verwendet.

Empfohlener Speicher

Der Speicherbedarf variiert je nach Größe eines Hadoop-Clusters erheblich.Speicher ist ein kritischer Faktor für Hadoop-Masterknoten, da der aktive und der Standby-NameNode-Server stark auf RAM angewiesen sind, um HDFS zu verwalten. Verwenden Sie daher Fehlerkorrekturspeicher (ECC) für Hadoop-Masterknoten. In der Regel benötigen Master-Knoten zwischen 64 GB und 128 GB RAM.

Der NameNode-Speicherbedarf ist eine direkte Funktion der Anzahl der in HDFS gespeicherten Dateiblöcke. In der Regel verbraucht der NameNode pro Million HDFS-Blöcke etwa 1 GB RAM. (Denken Sie daran, dass Dateien in einzelne Blöcke aufgeteilt und repliziert werden, sodass Sie drei Kopien jedes Blocks haben.)

Die Speicheranforderungen der Resource Manager-, HMaster-, Zookeeper- und JournalNode-Server sind erheblich geringer als beim NameNode-Server. Es ist jedoch empfehlenswert, die Master-Knoten einheitlich zu dimensionieren, damit sie im Falle eines Hardwarefehlers austauschbar sind.

Empfohlene Netzwerkverbindung

Für die Dienste auf Master-Knoten ist eine schnelle Kommunikation unerlässlich, daher empfehlen wir die Verwendung von zwei gekoppelten 10GbE-Verbindungen. Dieses Bonded-Pair bietet Redundanz, verdoppelt aber auch den Durchsatz auf 20 GbE. Bei kleineren Clustern (z. B. weniger als 50 Knoten) könnten Sie 1 GbE-Anschlüsse verwenden.