Video: Hadoop-Cluster in Microsoft Azure Tutorial: Netzwerk f. Ambari u. Hadoop einrichten |video2brain.com 2024
Wie bei jedem verteilten System kann ein Netzwerk einen Hadoop-Cluster bilden oder unterbrechen: Gehen Sie nicht billig. "Zwischen den Master-Knoten und den Slave-Knoten in einem Hadoop-Cluster, der für die Aufrechterhaltung des Clusters unentbehrlich ist, findet ein großes Chatter statt, daher werden Switches der Enterprise-Klasse unbedingt empfohlen.
Für jedes Rack in Ihrem Cluster benötigen Sie zwei Top-of-Rack-Switches (ToR) für Redundanz und Leistung. Verwenden Sie 10GbE für ToR-Switches.
ToR-Switches sind Netzwerk-Switches, die alle Computer in einem Rack miteinander verbinden. Sie sehen sie normalerweise ganz oben in einem Rack, weshalb die Leute sagen: "Top-of-Rack. "Ein alternativer Netzwerkansatz besteht darin, End-of-Row-Switches (EoR-Switches) zu verwenden, aber das sieht man nicht oft.
Der ToR-Ansatz ist aus Netzwerksicht einfacher für wachsende Cluster. Zum Beispiel ist das Hinzufügen von Slave-Knoten und zusätzlichen Racks mit ToR-Switches weitaus einfacher als EoR.
Wenn Sie mehr als drei Racks haben, benötigen Sie mindestens zwei Core-Switches (wiederum hauptsächlich aus Redundanzgründen, aber auch aus Performancegründen). Diese Core-Switches bewältigen große Datenmengen, daher ist 40GbE eine Notwendigkeit.
Wenn Sie einen Cluster für mehrere Racks erstellen oder erweitern möchten, sollten Sie mit Netzwerk-Experten zusammenarbeiten, die mit Hadoop, Ihren zukünftigen Wachstumsplänen und Ihrer Arbeitslast vertraut sind. Schlechte Vernetzung kann die Leistung stark beeinträchtigen, aber auch künftiges Wachstum kann schmerzhaft und teuer werden.
