Video: Was ist Hadoop? 2024
kümmern zu müssen. Für die meiste Zeit in Hadoops Geschichte war MapReduce das einzige Spiel in der Stadt, wenn es um die Datenverarbeitung geht. Die Verfügbarkeit von MapReduce war der Grund für den Erfolg von Hadoop und gleichzeitig ein wesentlicher Faktor für die weitere Annahme.
MapReduce ermöglicht erfahrenen Programmierern das Schreiben verteilter Anwendungen, ohne sich um die zugrunde liegende verteilte Datenverarbeitungsinfrastruktur kümmern zu müssen. Das ist eine sehr große Sache: Hadoop und das MapReduce-Framework behandeln alle Arten von Komplexität, die Anwendungsentwickler nicht verarbeiten müssen.
Die Möglichkeit, den Cluster transparent zu skalieren, indem Knoten hinzugefügt werden, und das automatische Failover von Datenspeicher- und Datenverarbeitungs-Subsystemen können z. B. keine Auswirkungen auf Anwendungen haben.
Die andere Seite der Medaille ist, dass MapReduce zwar eine enorme Komplexität verbirgt, Sie aber nicht vergessen können, was es ist: eine Schnittstelle für parallele Programmierung. Dies ist eine fortgeschrittene Fähigkeit - und ein Hindernis für eine breitere Annahme. Es gibt noch nicht viele MapReduce-Programmierer, und nicht jeder hat die Fähigkeit, es zu beherrschen.
In den frühen Tagen von Hadoop (Hadoop 1 und früher) konnten Sie MapReduce-Anwendungen nur auf Ihren Clustern ausführen. In Hadoop 2 wurde dies durch die YARN-Komponente geändert, indem die Ressourcenverwaltung und -planung vom MapReduce-Framework übernommen und eine generische Schnittstelle zur Verfügung gestellt wurde, mit der Anwendungen auf einem Hadoop-Cluster ausgeführt werden können.
Kurz gesagt bedeutet dies, dass MapReduce nur eines von vielen Anwendungsframeworks ist, mit denen Sie Anwendungen auf Hadoop entwickeln und ausführen können. Obwohl es durchaus möglich ist, Anwendungen mit anderen Frameworks auf Hadoop auszuführen, bedeutet dies nicht, dass wir MapReduce vergessen können.
MapReduce ist derzeit das einzige produktionsbereite Datenverarbeitungs-Framework, das für Hadoop verfügbar ist. Obwohl andere Frameworks zur Verfügung stehen werden, hat MapReduce fast ein Jahrzehnt an Reife hinter sich (mit fast 4.000 JIRA-Issues abgeschlossen, an denen Hunderte von Entwicklern beteiligt sind).
Es gibt keinen Zweifel: MapReduce ist das ausgereifteste Framework von Hadoop für die Datenverarbeitung. Darüber hinaus wird derzeit eine beträchtliche Menge an MapReduce-Code verwendet, der wahrscheinlich bald nicht mehr verfügbar sein wird. Lange Rede, kurzer Sinn: MapReduce ist ein wichtiger Teil der Hadoop-Geschichte.
Die Apache Hive- und Apache Pig-Projekte sind sehr beliebt, weil sie leichtere Einstiegspunkte für die Datenverarbeitung auf Hadoop bieten. Für viele Probleme sind besonders die Arten, die Sie mit SQL, Hive und Pig lösen können, ausgezeichnete Werkzeuge.Für eine umfassendere Aufgabe wie statistische Verarbeitung oder Textextraktion und insbesondere für die Verarbeitung unstrukturierter Daten müssen Sie jedoch MapReduce verwenden.
