Video: Master YARN in 45 minutes 2024
Die Kernkomponente von YARN (Yet Another Resource Negotiator) ist der Ressourcenmanager, der alle Datenverarbeitungsressourcen steuert. im Hadoop-Cluster. Einfach ausgedrückt ist der Ressourcenmanager ein dedizierter Scheduler, der den anfordernden Anwendungen Ressourcen zuweist. Seine einzigen Aufgaben bestehen darin, eine globale Ansicht aller Ressourcen im Cluster zu verwalten, Ressourcenanforderungen zu verarbeiten, die Anforderung zu planen und dann der anfordernden Anwendung Ressourcen zuzuweisen.
Der Resource Manager, eine kritische Komponente in einem Hadoop-Cluster, sollte auf einem dedizierten Master-Knoten ausgeführt werden.
Obwohl der Resource Manager im Grunde ein reiner Scheduler ist, ist er für die eigentliche Scheduling-Logik auf Scheduler-Module angewiesen. Sie können aus den gleichen Schedulern auswählen, die in Hadoop 1 verfügbar waren und alle aktualisiert wurden, um mit YARN zu arbeiten: FIFO (first in, first out), Kapazität oder Fair Share.
Der Resource Manager ist sowohl in Bezug auf die Anwendungen als auch auf die Frameworks vollkommen agnostisch - dh er hat keine Hunde in diesen speziellen Jagden. Es hat kein Konzept von map oder Aufgaben reduzieren, es verfolgt nicht den Fortschritt von Jobs oder ihre einzelnen Aufgaben und es behandelt keine Failovers.
Kurz gesagt, der Resource Manager ist eine vollständige Abkehr vom JobTracker-Dämon für Hadoop 1-Umgebungen. Was der Ressourcenmanager tut, ist das Planen von Workloads, und er erledigt diese Aufgabe gut.
Dieser hohe Grad an Trennungsaufgaben - sich auf einen Aspekt zu konzentrieren und alles andere zu ignorieren - ist genau das, was YARN viel skalierbarer macht, eine generische Plattform für Anwendungen zur Verfügung stellt und in der Lage ist, ein > mandantenfähiger Hadoop-Cluster - Multi-Tenant, da verschiedene Geschäftsbereiche denselben Hadoop-Cluster verwenden können.
