Einrichten der Hadoop-Umgebung mit Apache Bigtop - Dummies

Wenn Sie mit VMs und Linux arbeiten, können Sie Bigtop auf einer anderen VM als empfohlen installieren. Wenn Sie wirklich mutig sind und die Hardware haben, dann fahren Sie fort und versuchen Sie, Bigtop auf einem Cluster von Maschinen im vollständig verteilten Modus zu installieren!

Schritt 1: Herunterladen einer VM

Hadoop läuft auf allen gängigen Linux-Distributionen, daher benötigen Sie eine Linux-VM. Es steht ein frei verfügbares (und rechtmäßiges!) CentOS 6-Image zur Verfügung.

Sie benötigen ein 64-Bit-Betriebssystem auf Ihrem Laptop, um diese VM ausführen zu können. Hadoop benötigt eine 64-Bit-Umgebung.

Nachdem Sie die VM heruntergeladen haben, extrahieren Sie sie aus der heruntergeladenen Zip-Datei in das Zielverzeichnis. Stellen Sie sicher, dass etwa 50 GB Speicherplatz verfügbar sind, da Hadoop und Ihre Beispieldaten dies benötigen.

Wenn Sie noch keinen VM-Player haben, können Sie diesen kostenlos herunterladen.

Nachdem Sie Ihren VM-Player eingerichtet haben, öffnen Sie den Player, gehen Sie zu Datei → Öffnen und gehen Sie zu dem Verzeichnis, in das Sie Ihre Linux-VM extrahiert haben. Suchen Sie nach einer aufgerufenen Datei und wählen Sie sie aus. Sie sehen Informationen darüber, wie viele Prozessoren und wie viel Arbeitsspeicher verwendet wird. Finden Sie heraus, wie viel Arbeitsspeicher Ihr Computer hat, und weisen Sie die Hälfte davon zu, damit die VM verwendet werden kann. Hadoop braucht viel Speicher.

Sobald Sie fertig sind, klicken Sie auf die Schaltfläche Wiedergabe und Ihre Linux-Instanz wird gestartet. Sie werden sehen, wie viele Nachrichten vorbeifliegen, während Linux bootet, und Sie werden zu einem Anmeldebildschirm kommen. Der Benutzername ist bereits auf "Tom. "Geben Sie das Passwort als" tomtom "an und melden Sie sich an.

Schritt 2: Herunterladen von Bigtop

Klicken Sie in Ihrer Linux-VM mit der rechten Maustaste auf den Bildschirm und wählen Sie im angezeigten Kontextmenü die Option In Terminal öffnen. Dies öffnet ein Linux-Terminal, auf dem Sie Befehle ausführen können. Klicken Sie in das Terminal, um den Cursor zu blinken und geben Sie den folgenden Befehl ein: su -

Sie werden nach Ihrem Passwort gefragt. Geben Sie also "tomtom" ein, wie Sie es zuvor getan haben. Dieser Befehl schaltet den Benutzer auf root um, das das Hauptkonto für einen Linux-Computer ist - dies wird zur Installation von Hadoop benötigt.

Führen Sie den folgenden Befehl mit Ihrem Root-Zugriff aus (lassen Sie nicht zu, dass die Stromversorgung zum Kopf führt):

wget -O / etc / yum. Repos. d / bigtop. repo 

// www. Apache. org / dist / bigtop / bigtop- 
0. 7. 0 / Repos / Centos6 / Bigtop. repo

Der Befehl ist im Wesentlichen eine Webanforderung, die eine bestimmte Datei in der URL anfordert, die Sie sehen können, und sie in einen bestimmten Pfad schreibt - in diesem Fall ist das /.

Schritt 3: Installieren von Bigtop

Die Genies hinter Linux haben das Leben für Leute, die große Softwarepakete wie Hadoop installieren müssen, ziemlich einfach gemacht.Was Sie im letzten Schritt heruntergeladen haben, war nicht das gesamte Bigtop-Paket und dessen Abhängigkeiten. Es war nur eine Repository-Datei (mit der Erweiterung), die einem Installationsprogramm mitteilt, welche Softwarepakete für die Bigtop-Installation benötigt werden.

Wie jedes große Softwareprodukt hat Hadoop viele Voraussetzungen, aber Sie brauchen sich keine Sorgen zu machen. Eine gut gestaltete Datei weist auf Abhängigkeiten hin, und das Installationsprogramm ist intelligent genug, um festzustellen, ob sie auf Ihrem Computer fehlen, und sie dann herunterzuladen und zu installieren.

Das Installationsprogramm, das Sie hier verwenden, heißt yum, das Sie jetzt in Aktion sehen können:

yum install hadoop * mahout * oozie * hbase * hive * farbton * schwein * zookeeper *

Beachten Sie, dass Sie wählt die zu installierenden Hadoop-Komponenten aus und wählt sie aus. Es gibt eine Reihe von anderen Komponenten in Bigtop, aber das sind die einzigen, die Sie hier verwenden werden. Da es sich bei der VM um eine frische Linux-Installation handelt, benötigen Sie viele Abhängigkeiten. Daher müssen Sie etwas warten.

Der Yum-Installer ist sehr ausführlich, so dass Sie genau beobachten können, was heruntergeladen und installiert wird, um die Zeit zu vertreiben. Wenn der Installationsvorgang abgeschlossen ist, sollte eine Meldung mit der Meldung "Complete! "

Schritt 4: Starten von Hadoop

Bevor Sie mit der Ausführung von Anwendungen auf Hadoop beginnen, müssen Sie einige grundlegende Konfigurations- und Setup-Aufgaben ausführen. Hier sind sie in Ordnung:

1. Laden Sie Java herunter und installieren Sie es:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Formatiert den NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Starten Sie die Hadoop-Dienste für Ihren pseudodistributierten Cluster:

   für i in hadoop-hdfs-namenode hadoop-hdfs-datanode; mach sudo service $ ich beginne; done
   

4. Erstellen Sie eine Unterverzeichnisstruktur in HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Starten Sie die YARN-Dämonen:

sudo service hadoop-yarn-resourcemanager startetudo service hadoop-yarn-nodemanager start

Und damit sind Sie fertig. Herzliche Glückwünsche! Sie haben eine funktionierende Hadoop-Bereitstellung installiert.

Schritt 5: Herunterladen des Beispieldatensatzes

Um den Beispieldatensatz herunterzuladen, öffnen Sie den Firefox-Browser innerhalb der VM und gehen Sie zur dataexpo-Seite.

Sie benötigen nicht den gesamten Datensatz. Beginnen Sie also mit einem einzigen Jahr, 1987. Wenn Sie den Download starten möchten, wählen Sie die Option Mit Archivmanager öffnen aus.

Nachdem Ihre Datei heruntergeladen wurde, extrahieren Sie die Datei in Ihr Home-Verzeichnis, wo Sie sie leicht finden können. Klicken Sie auf die Schaltfläche Extrahieren und wählen Sie das Verzeichnis Desktop aus.

Schritt 6: Kopieren des Beispieldatensatzes in HDFS

Denken Sie daran, dass Ihre Hadoop-Programme nur mit Daten arbeiten können, nachdem sie in HDFS gespeichert wurden. Was Sie jetzt tun werden, ist die Flugdaten-Datei für 1987 in HDFS zu kopieren. Geben Sie den folgenden Befehl ein:

hdfs dfs -copyFromLocal 1987. csv / user / root