Planen und Koordinieren von Oozie-Workflows in Hadoop - Dummies

Nachdem Sie eine Reihe von Workflows erstellt haben, können Sie eine Reihe von Oozie-Koordinatorjobs verwenden, um zu planen, wann sie hingerichtet. Sie haben zwei Planungsoptionen für die Ausführung: eine bestimmte Zeit und die Verfügbarkeit von Daten in Verbindung mit einer bestimmten Zeit.

Zeitbasierte Planung für Oozie-Koordinatoraufträge

Oozie-Koordinatoraufträge können zu einem bestimmten Zeitpunkt ausgeführt werden. Nach dem Start können sie jedoch so konfiguriert werden, dass sie in bestimmten Intervallen ausgeführt werden. Das folgende Beispiel zeigt einen Koordinatorjob, der zu einem angegebenen Startzeitpunkt und Datum gestartet wird:

… $ {workflowAppPath}

Zeit- und datenverfügbarkeitsbasierte Planung für Oozie-Koordinatoraufträge

Oozie-Koordinatoraufträge können auch zu bestimmten Zeitpunkten ausgeführt werden, wenn angegebene Datendateien oder Verzeichnisse stehen zur Verfügung. Die folgende Auflistung zeigt ein Beispiel für einen Koordinator, der zu einem angegebenen Startzeitpunkt und -datum ausgeführt wird, einmal täglich ausgeführt wird, wenn der durch triggerDatasetDir identifizierte Datensatz vorhanden ist, und bis zur angegebenen Endzeit ausgeführt wird:

… $ {triggerDatasetDir} $ {startTime} $ {workflowAppPath}

Ausführen von Oozie-Koordinatorjobs

Ähnlich wie Oozie-Workflowjobs benötigen Koordinatorjobs einen Job. Eigenschaftendatei und der Koordinator. Die XML-Datei muss in das HDFS geladen werden. Um einen Oozie-Koordinatorjob über die Oozie-Befehlszeilenschnittstelle auszuführen, geben Sie einen Befehl wie den folgenden aus, während Sie sicherstellen, dass der Job ausgeführt wird. Eigenschaftendatei ist lokal zugänglich:

$ oozie Job -config BeispielKoordinator / Job. properties -run

Nachdem Sie den Job übergeben haben, wird der Koordinator in der Oozie-Objektdatenbank gespeichert. Bei der Übergabe gibt Oozie eine Kennung zurück, mit der Sie Ihren Koordinator überwachen und verwalten können: job: 0000001-00000001234567-oozie-C.

Um den Status dieses Jobs zu überprüfen, führen Sie den Befehl

oozie job -info aus 0000001-00000001234567-oozie-C