Video: Apache Bigtop, a crash course in deploying a Hadoop bigdata - Roman Shaposhnik, Konstantin Boudnik 2024
Um Ihnen den Einstieg in Hadoop zu erleichtern, finden Sie hier Anweisungen zum schnellen Herunterladen und Einrichten von Hadoop auf Ihrem eigenen Laptop… Ihr Cluster wird auf einer virtuellen Maschine im Pseudo-Distributed-Modus ausgeführt, sodass Sie keine spezielle Hardware benötigen.
Eine virtuelle Maschine (VM) ist ein simulierter Computer, den Sie auf einem realen Computer ausführen können. Beispielsweise können Sie ein Programm auf Ihrem Laptop ausführen, das eine VM "abspielt", wodurch ein Fenster geöffnet wird, das aussieht, als würde es einen anderen Computer ausführen. In der Tat läuft ein vorgetäuschter Computer in Ihrem realen Computer.
Sie laden eine VM herunter, und während Sie sie ausführen, installieren Sie Hadoop.
Apache Bigtop ist eine großartige Alternative, wenn Sie Ihre eigenen Hadoop-Komponenten zusammenstellen möchten. Bigtop sammelt die wichtigsten Hadoop-Komponenten für Sie und stellt sicher, dass Ihre Konfiguration funktioniert. Apache Bigtop ist eine 100-prozentige Open-Source-Distribution.
Das primäre Ziel von Bigtop - selbst ein Apache-Projekt, genau wie Hadoop - ist es, eine Community rund um das Packaging, die Bereitstellung und die Integration von Projekten im Apache Hadoop-Ökosystem aufzubauen. Der Fokus liegt auf dem Gesamtsystem und nicht auf einzelnen Projekten.
Mit Bigtop können Sie Hadoop-Komponenten einfach installieren und bereitstellen, ohne sie in einer bestimmten Distribution nachverfolgen zu müssen und sie mit einer bestimmten Hadoop-Version abzugleichen. Wenn neue Versionen von Hadoop-Komponenten veröffentlicht werden, funktionieren sie manchmal nicht mit den neuesten Versionen anderer Projekte. Wenn Sie auf sich gestellt sind, sind umfangreiche Tests erforderlich.
Mit Bigtop (oder einer kommerziellen Hadoop-Version) können Sie darauf vertrauen, dass Hadoop-Experten diese Tests für Sie durchgeführt haben. Um Ihnen eine Vorstellung davon zu geben, wie umfangreich Bigtop ist, lesen Sie die folgende Liste aller in Bigtop enthaltenen Komponenten:
-
Apache Crunch
-
Apache Apache
-
Apache Apollo
-
Apache Apollo
-
Apache Apollo
-
Apache Apollo
-
Apache Apollo
-
Apache Apollo
-
Apache Apollo Schwein
-
Apache Solr
-
Apache Sqoop
-
Apache Whirr
-
Apache-Zoowärter
-
Cloudera Hue
-
LinkedIn DataFu
Diese Sammlung von Hadoop-Ökosystemprojekten ist so umfangreich wie es nur geht, da beides Haupt- und Nebenprojekte sind enthalten. Apache Bigtop entwickelt sich ständig weiter.
