Inhaltsverzeichnis:
Video: Hadoop 3 New Features | Hadoop Tutorial Videos | Mr. Srinivas 2024
Ein-Rack-Hadoop-Bereitstellung
Eine Einzel-Rack-Bereitstellung ist ein idealer Ausgangspunkt für ein Hadoop-Cluster.
Hier ist der Cluster ziemlich eigenständig, aber weil er immer noch relativ wenige Slave-Knoten hat, sind die wahren Vorteile der Ausfallsicherheit von Hadoop noch nicht offensichtlich.
Drei-Rack-Hadoop-Bereitstellung
Ein mittelgroßer Cluster verfügt über mehrere Racks, wobei die drei Masterknoten über die Racks verteilt sind.
Die Ausfallsicherheit von Hadoop beginnt sich zu zeigen: Selbst wenn ein ganzes Rack ausfallen sollte (zum Beispiel beide ToR-Switches in einem einzigen Rack), würde das Cluster immer noch funktionieren, wenn auch auf einem niedrigeren Leistungsniveau. Ein Ausfall des Slave-Knotens wäre kaum bemerkbar.
Umfangreiche Hadoop-Bereitstellung
In größeren Clustern mit vielen Racks, wie im gezeigten Beispiel, ist die erforderliche Netzwerkarchitektur ziemlich anspruchsvoll.
Unabhängig davon, wie viele Racks Hadoop-Cluster erweitern, müssen die Slave-Knoten aus jedem Rack effizient kommunizieren können. zu jedem Hauptknoten.
Da die Anzahl der Slave-Knoten auf den Punkt ansteigt, an dem Sie mehr als drei Racks haben, bestehen zusätzliche Racks nur aus Slave-Knoten, abgesehen von den ToR-Switches. Wenn Sie HBase in Ihrem Cluster stark verwenden, können Sie Master-Knoten hinzufügen, um zusätzliche HMaster- und Zookeeper-Dienste zu hosten.
Wenn Sie in einem wirklich gewaltigen Maßstab arbeiten, in dem Hunderte von Slave-Knoten vorhanden sind, müssen Sie möglicherweise die HDFS-Föderationsfunktionen verwenden, damit große Teile Ihrer Datensätze von verschiedenen NameNode-Diensten verwaltet werden.
Für jeden zusätzlichen Active NameNode benötigen Sie einen entsprechenden Standby NameNode und zwei Master-Knoten, um diese Server zu hosten. Mit HDFS Federation ist der Himmel wirklich die Grenze in Bezug darauf, wie weit Sie Ihre Cluster skalieren können.
Zurück Weiter
