Video: What is HDFS | Hadoop Distributed File System (HDFS) Introduction | Hadoop Training | Edureka 2024
Die Lösung für das unbegrenzte Erweitern von Hadoop-Clustern besteht darin, den Namensknoten zu zusammenzufassen. Bevor Hadoop 2 die Szene betrat, mussten Hadoop-Cluster mit der Tatsache leben, dass NameNode dem Grad, zu dem sie skalieren konnten, Grenzen setzte. Nur wenige Cluster konnten über 3.000 oder 4.000 Knoten skalieren.
Die Notwendigkeit von NameNode, Datensätze für jeden im Cluster gespeicherten Datenblock zu verwalten, erwies sich als der bedeutendste Faktor, der ein größeres Clusterwachstum einschränkte. Wenn Sie zu viele Blöcke haben, wird es für den NameNode immer schwieriger, sich zu vergrößern, wenn der Hadoop-Cluster skaliert wird.
Insbesondere müssen Sie HDFS so einrichten, dass mehrere NameNode-Instanzen auf eigenen, dedizierten Master-Knoten ausgeführt werden und jeder NameNode nur für die Dateiblöcke in seinem eigenen Namensraum verantwortlich ist.
Die Abbildung zeigt Replikationsmuster von Datenblöcken in HDFS. Sie können einen Hadoop-Cluster mit zwei NameNodes anzeigen, die einen einzelnen Cluster bedienen. Die Slave-Knoten enthalten alle Blöcke aus beiden Namensräumen.
