Video: schwein latein 2024
Pig Latin ist die Sprache für Pig-Programme. Pig übersetzt das Pig Latin-Skript in MapReduce-Jobs, die innerhalb des Hadoop-Clusters ausgeführt werden können. Bei der Entwicklung von Pig Latin folgte das Entwicklerteam drei grundlegenden Designprinzipien:
-
Keep it simple . Pig Latin bietet eine optimierte Methode für die Interaktion mit Java MapReduce. Es ist eine Abstraktion, mit anderen Worten, die die Erstellung von parallelen Programmen auf dem Hadoop-Cluster für Datenflüsse und -analysen vereinfacht. Komplexe Aufgaben können eine Reihe von miteinander verbundenen Datentransformationen erfordern - solche Serien werden als Datenflusssequenzen codiert.
Das Schreiben von Datentransformationen und -flüssen als Pig Latin-Skripte anstelle von Java MapReduce-Programmen erleichtert das Schreiben, Verstehen und Verwalten dieser Programme, da a) Sie den Job nicht in Java schreiben müssen.) Sie müssen nicht in MapReduce denken, und c) Sie müssen nicht mit benutzerdefiniertem Code aufwarten, um Rich-Datentypen zu unterstützen.
Pig Latin bietet eine einfachere Sprache, mit der Sie Ihren Hadoop-Cluster ausnutzen können. Dadurch wird es für mehr Menschen einfacher, die Leistungsfähigkeit von Hadoop zu nutzen und schneller produktiv zu werden.
-
Machen Sie es schlau. Sie erinnern sich vielleicht, dass der Pig Latin Compiler ein Pig Latin-Programm in eine Reihe von Java MapReduce-Jobs umwandelt. Der Trick besteht darin, sicherzustellen, dass der Compiler die Ausführung dieser Java MapReduce-Jobs automatisch optimieren kann, sodass sich der Benutzer auf die Semantik konzentrieren kann und nicht darauf, wie er die Daten optimieren und darauf zugreifen kann.
Für Sie SQL-Typen da draußen, klingt diese Diskussion vertraut. SQL wird als deklarative Abfrage eingerichtet, mit der Sie auf strukturierte Daten zugreifen, die in einem RDBMS gespeichert sind. Die RDBMS-Engine übersetzt zuerst die Abfrage in eine Datenzugriffsmethode und betrachtet dann die Statistik und generiert eine Reihe von Datenzugriffsansätzen. Der kostenbasierte Optimierer wählt den effizientesten Ansatz für die Ausführung.
-
Beschränken Sie die Entwicklung nicht. Machen Sie Pig erweiterbar, damit Entwickler Funktionen hinzufügen können, um ihre speziellen Geschäftsprobleme zu lösen.
Herkömmliche RDBMS-Data Warehouses nutzen das ETL-Datenverarbeitungsmuster, bei dem Sie e Daten aus externen Quellen extrahieren, t es an Ihre betrieblichen Anforderungen anpassen und dann > l Geben Sie es in das Endziel, sei es ein Betriebsdatenspeicher, ein Data Warehouse oder eine andere Datenbankvariante. Bei Big Data möchten Sie jedoch in der Regel die Menge an Daten reduzieren, die Sie bewegen, sodass Sie die Verarbeitung auf die Daten selbst übertragen müssen.
Die Sprache für Pig-Datenflüsse nimmt daher den alten ETL-Ansatz auf und geht stattdessen mit ELT:
E Extrahieren Sie die Daten aus Ihren verschiedenen Quellen, l oad es in HDFS, und dann t ransform es wie erforderlich, um die Daten für die weitere Analyse vorzubereiten.
