Video: What is Python? (Create a Pig Latin Translator) 2024
Hadoop ist ein reiches und sich schnell entwickelndes Ökosystem mit einer wachsenden Anzahl neuer Anwendungen. Anstatt zu versuchen, mit allen Anforderungen für neue Fähigkeiten Schritt zu halten, ist Pig so konzipiert, dass es über benutzerdefinierte Funktionen , auch als UDFs bekannt, erweiterbar ist.
UDFs können in einer Reihe von Programmiersprachen geschrieben werden, einschließlich Java, Python und JavaScript. Entwickler veröffentlichen und teilen eine wachsende Sammlung von UDFs online. (Suchen Sie nach Piggy Bank und DataFu, um nur zwei Beispiele für solche Online-Sammlungen zu nennen.) Einige der UDFs von Pig, die Teil dieser Repositorys sind, sind LOAD / STORE-Funktionen (zum Beispiel XML), Datumszeitfunktionen, Text, Mathematik, und Statistiken.
Pig kann auch in Host-Sprachen wie Java, Python und JavaScript eingebettet werden, wodurch Sie Pig mit Ihren vorhandenen Anwendungen integrieren können. Es hilft auch, Einschränkungen in der Pig-Sprache zu überwinden. Eine der am häufigsten genannten Einschränkungen ist, dass Pig keine Kontrollflussanweisungen unterstützt: if / else, while-Schleife, for-Schleife und Bedingungsanweisungen.
Pig unterstützt nativ den Datenfluss, muss jedoch in eine andere Sprache eingebettet werden, um einen Kontrollfluss zu ermöglichen. Es gibt jedoch Kompromisse bei der Einbettung von Pig in eine Kontrollfluss-Sprache. Wenn zum Beispiel eine Pig-Anweisung in eine Schleife eingebettet ist, führt dies jedes Mal, wenn die Schleife iteriert und die Pig-Anweisung ausführt, dazu, dass ein separater MapReduce-Job ausgeführt wird.
