Video: How to install Hadoop on Ubuntu single node cluster 2024
Jeder Slave-Knoten in Yet Another Resource Negotiator (YARN) verfügt über einen Node Manager-Dämon, der als Slave für den Resource Manager fungiert. Wie beim TaskTracker verfügt jeder Slave-Knoten über einen Dienst, der ihn an den Verarbeitungsdienst (Node Manager) und den Speicherdienst (DataNode) bindet, die es Hadoop ermöglichen, ein verteiltes System zu sein.
Jeder Node Manager verfolgt die verfügbaren Datenverarbeitungsressourcen auf seinem Slave-Knoten und sendet regelmäßige Berichte an den Ressourcen-Manager.
Die Verarbeitungsressourcen in einem Hadoop-Cluster werden in mundgerechten Teilen konsumiert, die als Container bezeichnet werden. Ein -Container ist eine Sammlung aller Ressourcen, die zum Ausführen einer Anwendung erforderlich sind: CPU-Kerne, Arbeitsspeicher, Netzwerkbandbreite und Speicherplatz. Ein implementierter Container wird als einzelner Prozess auf einem Slave-Knoten in einem Hadoop-Cluster ausgeführt.
Das Konzept eines Containers erinnert Sie möglicherweise an einen Slot, die Verarbeitungseinheit, die von JobTracker und TaskTracker verwendet wird, aber sie haben einige bemerkenswerte Unterschiede. Am wichtigsten ist, dass Container generisch sind und jede Anwendungslogik ausführen können, die sie erhalten, im Gegensatz zu Slots, die speziell für die Ausführung von Zuordnungs- oder Reduzierungsaufgaben definiert sind. Außerdem können Container mit benutzerdefinierten Mengen an Ressourcen angefordert werden, während alle Slots einheitlich sind.
Solange der angeforderte Betrag innerhalb der minimalen und maximalen Grenzen von dem liegt, was für einen Container akzeptabel ist (und solange die angeforderte Menge an Speicher ein Vielfaches der Mindestmenge ist), wird der Ressourcen-Manager wird diesen Container gewähren und einplanen.
Alle Container-Prozesse, die auf einem Slave-Knoten ausgeführt werden, werden zunächst vom Knoten-Manager-Daemon des Slave-Knotens bereitgestellt, überwacht und überwacht.
