Video: 12: Randomisierte Selektion, Parallele Implementierung, Zufälliges Zuordnen, Master-Worker-Schema 2024
Eine MapReduce-Anwendung verarbeitet die Daten in Eingabesplits auf einer datensatzweisen Basis und jeder Datensatz wird von MapReduce als Schlüssel / Wert verstanden Paar. Nachdem die Eingabesplits berechnet wurden, können die Mapper-Tasks mit ihrer Verarbeitung beginnen, dh direkt nachdem die Planungsfunktion des Resource Managers ihnen ihre Verarbeitungsressourcen zugewiesen hat. (In Hadoop 1 weist der JobTracker Mapper-Tasks bestimmten Verarbeitungsfenstern zu.)
Die Mapper-Task selbst verarbeitet ihren Input-Split-Datensatz zu einem Zeitpunkt - in der Abbildung wird dieser einzelne Datensatz durch das Schlüssel / Wert-Paar dargestellt. Im Fall unserer Flugdaten wird bei der Berechnung der Eingabesplits (unter Verwendung der standardmäßigen Dateiverarbeitungsmethode für Textdateien) davon ausgegangen, dass jede Zeile in der Textdatei ein einzelner Datensatz ist.
Für jeden Datensatz stellt der Text der Zeile selbst den Wert dar, und der Byte-Offset jeder Zeile vom Beginn der Teilung wird als Schlüssel angesehen.
Sie fragen sich vielleicht, warum die Zeilennummer nicht anstelle des Byte-Offsets verwendet wird. Wenn Sie bedenken, dass eine sehr große Textdatei in viele einzelne Datenblöcke zerlegt und so viele Aufteilungen verarbeitet wird, ist die Zeilennummer ein riskantes Konzept.
Die Anzahl der Zeilen in jeder Aufteilung ist unterschiedlich, daher wäre es unmöglich, die Anzahl der Zeilen zu berechnen, die der verarbeiteten vorangehen. Mit dem Byte-Offset können Sie jedoch genau sein, da jeder Block eine feste Anzahl von Bytes hat.
Wenn ein Mapper-Task jeden Datensatz verarbeitet, generiert er ein neues Schlüssel / Wert-Paar: Der Schlüssel und der Wert können sich hier vollständig vom Eingangspaar unterscheiden. Die Ausgabe der Mapper-Aufgabe ist die vollständige Sammlung aller dieser Schlüssel / Wert-Paare.
Bevor die endgültige Ausgabedatei für jeden Mapper-Task geschrieben wird, wird die Ausgabe basierend auf dem Schlüssel partitioniert und sortiert. Diese Partitionierung bedeutet, dass alle Werte für jeden Schlüssel zusammen gruppiert sind.
Im Fall der ziemlich einfachen Beispielanwendung gibt es nur einen einzigen Reduzierer, so dass die gesamte Ausgabe der Mapper-Aufgabe in eine einzelne Datei geschrieben wird. In Fällen mit mehreren Reduzierstücken kann jedoch jede Mapper-Aufgabe auch mehrere Ausgabedateien erzeugen.
Die Aufschlüsselung dieser Ausgabedateien basiert auf dem Partitionierungsschlüssel. Wenn beispielsweise nur drei verschiedene Partitionierungsschlüssel für die Mapper-Tasks ausgegeben werden und Sie drei Reduzierungen für den Job konfiguriert haben, gibt es drei Mapper-Ausgabedateien. Wenn in diesem Beispiel eine bestimmte Zuordnungsaufgabe eine Eingabeaufteilung verarbeitet und eine Ausgabe mit zwei der drei Schlüssel generiert, gibt es nur zwei Ausgabedateien.
Komprimieren Sie immer die Ausgabedateien Ihrer Mapper-Tasks. Der größte Vorteil liegt hier in Leistungssteigerungen, da durch das Schreiben kleinerer Ausgabedateien die unvermeidlichen Kosten für die Übertragung der Mapper-Ausgabe an die Knoten minimiert werden, auf denen die Reduzierer ausgeführt werden.
Der Standardpartitionierer ist in den meisten Situationen mehr als ausreichend, aber manchmal möchten Sie möglicherweise anpassen, wie die Daten partitioniert werden, bevor sie von den Reduzierungen verarbeitet werden. Zum Beispiel möchten Sie vielleicht, dass die Daten in Ihren Ergebnismengen nach dem Schlüssel und ihren Werten sortiert werden - eine so genannte sekundäre Sortierung.
Um dies zu tun, können Sie den Standard-Partitionierer außer Kraft setzen und eigene implementieren. Dieser Prozess erfordert jedoch einige Sorgfalt, weil Sie sicherstellen möchten, dass die Anzahl der Datensätze in jeder Partition einheitlich ist. (Wenn ein Reducer viel mehr Daten verarbeiten muss als die anderen Reducer, warten Sie bis der MapReduce-Auftrag fertig ist, während der einzelne überarbeitete Reducer durch seinen unverhältnismäßig großen Datensatz zieht.)
kann die in der MapReduce-Verarbeitung verfügbare Parallelität besser nutzen.
