Die Dimensionierung Ihres Hadoop-Clusters - Dummies

Die Dimensionierung eines Datenverarbeitungssystems ist ebenso eine Wissenschaft wie ist eine Art. Mit Hadoop betrachten Sie die gleichen Informationen wie mit einer relationalen Datenbank.Beispielsweise müssen Sie wissen, wie viele Daten Sie haben, die erwarteten Wachstumsraten schätzen und eine Aufbewahrungsrichtlinie festlegen (wie lange die Daten zu behalten.)

Die Antworten auf diese Fragen dienen als Ausgangspunkt, der unabhängig von irgendwelchen technologischen Anforderungen ist.

Nachdem Sie ermittelt haben, wie viele Daten Wenn Sie speichern möchten, können Sie Hadoop-spezifische Überlegungen berücksichtigen: Angenommen, Sie verfügen über eine Telekommunikationsfirma, und Sie haben festgestellt, dass Sie 750 Terabyte (TB) Speicherplatz für die Call Detail Record (CDR) -Protokolldateien benötigen. Sie behalten diese Aufzeichnungen bei, um behördliche Vorschriften einzuhalten, aber Sie können sie auch analysieren. o sehen Sie Abwanderungsmuster und überwachen Sie z. B. die Netzwerkintegrität. Um festzustellen, wie viel Speicherplatz Sie benötigen und wie viele Racks und Slave-Knoten Sie benötigen, führen Sie Ihre Berechnungen mit diesen Faktoren aus:

Replikation:

• Der Standardreplikationsfaktor für Daten in HDFS ist 3. Die 500 Terabyte an CDR-Daten für das Telekommunikationsunternehmen im Beispiel werden dann zu 1500 Terabyte. Swap Space:

• Jede Analyse oder Verarbeitung der Daten durch MapReduce benötigt zusätzliche 25 Prozent des Speicherplatzes, um Zwischen- und Endergebnissätze zu speichern. (Das Telekommunikationsunternehmen benötigt jetzt 1875 Terabyte Speicherplatz.)

  Komprimierung:

• Die Telefongesellschaft speichert die CDRs in komprimierter Form, wobei die durchschnittliche Komprimierungsrate bei 3: 1 liegt. Sie benötigen jetzt 625 Terabyte. Anzahl der Slave-Knoten:

• Angenommen, jeder Slave-Knoten verfügt über zwölf 3-TB-Laufwerke für HDFS. Jeder Slave-Knoten verfügt über 36 Terabyte Raw-HDFS-Speicher, sodass das Unternehmen 18 Slave-Knoten benötigt. Anzahl der Racks:

• Da jeder Slave-Knoten 2RU verwendet und die Firma im Beispiel drei Master-Knoten (1RU pro Stück) und zwei ToR-Switches (1RU pro Stück) benötigt, benötigen Sie insgesamt 41RU. Es ist 1 HE weniger als die Gesamtkapazität eines Standard-Racks, sodass ein einzelnes Rack für diese Bereitstellung ausreicht. Unabhängig davon bleibt in diesem Cluster kein Platz für Wachstum. Es ist daher ratsam, ein zweites Rack (und zwei zusätzliche ToR-Switches) zu kaufen und die Slave-Knoten auf die beiden Racks aufzuteilen.

  Testen:

• Das Verwalten eines Testclusters, das eine kleinere Darstellung des Produktionsclusters darstellt, ist Standard. Es muss nicht riesig sein, aber Sie möchten mindestens fünf Datenknoten, damit Sie eine genaue Darstellung des Verhaltens von Hadoop erhalten.Wie bei jeder Testumgebung sollte es in einem anderen Netzwerk als dem Produktionscluster isoliert sein. Backup und Disaster Recovery:

• Wie jedes Produktionssystem muss auch das Telekommunikationsunternehmen die Anforderungen für Backup und Disaster Recovery berücksichtigen. Diese Firma könnte so weit gehen, ein Spiegel-Cluster zu erstellen, um sicherzustellen, dass sie ein Hot Standby für ihr gesamtes System haben. Dies ist offensichtlich die teuerste Option, eignet sich jedoch für Umgebungen, in denen eine konstante Betriebszeit entscheidend ist. Am günstigsten Ende des Spektrums (abgesehen davon, dass die Daten überhaupt nicht gesichert werden) könnte das Telekommunikationsunternehmen regelmäßig alle Daten (einschließlich der Daten selbst, Anwendungen, Konfigurationsdateien und Metadaten) sichern, die in ihrem Produktionscluster gespeichert sind. mit Klebeband befestigen. Mit Band sind die Daten nicht sofort verfügbar, aber es wird eine Notfallwiederherstellung für den Fall möglich, dass der gesamte Produktions-Hadoop-Cluster ausfällt.

  Wie bei Ihrem eigenen PC verlangsamt sich das System erheblich, wenn die Hauptfestplatte voll ist. Hadoop ist keine Ausnahme. Auch eine Festplatte ist besser, wenn sie weniger als 85 bis 90 Prozent voll ist. Wenn Sie diese Informationen im Hinterkopf behalten, sollten Sie den Swap-Space-Faktor von 25 auf 33 Prozent erhöhen, wenn Ihnen die Performance wichtig ist.