Zuhause Persönliche Finanzen Regionen in HBase - Dummies

Regionen in HBase - Dummies

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025
Anonim

RegionServers sind eine Sache, aber Sie müssen auch einen Blick darauf werfen, wie einzelne Regionen funktionieren. In HBase ist eine Tabelle sowohl auf eine Anzahl von RegionServern verteilt als auch aus einzelnen Regionen zusammengesetzt. Wenn Tabellen aufgeteilt werden, werden die Teilungen zu Regionen. Regionen speichern eine Reihe von Schlüssel-Wert-Paaren und jeder RegionServer verwaltet eine konfigurierbare Anzahl von Regionen.

Wie aber sehen die einzelnen Regionen aus? HBase ist ein spaltenfamilienorientierter Datenspeicher, also wie speichern die einzelnen Regionen Schlüssel-Wert-Paare basierend auf den Spaltenfamilien, zu denen sie gehören? Die folgende Abbildung fängt an, diese Fragen zu beantworten und hilft Ihnen, wichtige Informationen über die Architektur von HBase zu verdauen.

HBase ist in Java geschrieben - wie die große Mehrheit der Hadoop-Technologien. Java ist eine objektorientierte Programmiersprache und eine elegante Technologie für verteiltes Rechnen. Wenn Sie also weiterhin mehr über HBase erfahren, denken Sie daran, dass alle Komponenten in der Architektur letztendlich Java-Objekte sind.

Zunächst einmal gibt die obige Abbildung eine ziemlich gute Vorstellung davon, wie die Objekte im Allgemeinen aussehen. Es wird auch deutlich, dass Regionen Daten in Spaltenfamilien trennen und die Daten mithilfe von HFile-Objekten im HDFS speichern.

Wenn Clients Schlüsselwertpaare in das System eingeben, werden die Schlüssel so verarbeitet, dass die Daten auf der Grundlage der Spaltenfamilie gespeichert werden, zu der das Paar gehört. Wie in der Abbildung gezeigt, hat jedes Spaltenfamilienspeicherobjekt einen Lesecache, der als BlockCache bezeichnet wird, und einen Schreibcache, der als MemStore bezeichnet wird. Der BlockCache hilft bei der zufälligen Leseleistung.

Daten werden in Blöcken aus dem HDFS gelesen und im BlockCache gespeichert. Nachfolgende Lesevorgänge für die Daten - oder Daten, die in unmittelbarer Nähe gespeichert sind - werden anstelle der Festplatte aus dem RAM gelesen, wodurch die Gesamtleistung verbessert wird. Das Write Ahead Log (kurz WAL) stellt sicher, dass Ihre HBase-Schreibvorgänge zuverlässig sind. Es gibt eine WAL pro RegionServer.

Beachten Sie immer das eiserne Gesetz des verteilten Rechnens: Ein Fehler ist nicht die Ausnahme - er ist die Regel, besonders wenn Hunderte oder sogar Tausende von Servern geclustert werden. Google folgte dem Eisernen Gesetz bei der Entwicklung von BigTable und HBase folgten.

Wenn Sie Daten in HBase schreiben oder ändern, werden die Daten zuerst in der WAL gespeichert, die im HDFS gespeichert ist. Anschließend werden die Daten in den MemStore-Cache geschrieben. In konfigurierbaren Intervallen werden im MemStore gespeicherte Schlüssel / Wert-Paare in HFiles im HDFS geschrieben und anschließend werden WAL-Einträge gelöscht.

Wenn ein Fehler auftritt, nachdem der anfängliche WAL-Schreibvorgang aber vor der endgültige MemStore-Schreibzugriff erfolgt ist, kann die WAL erneut abgespielt werden, um Datenverlust zu vermeiden.

Drei HFile-Objekte befinden sich in einer Spaltenfamilie und zwei in der anderen Spalte. Das Design von HBase besteht darin, Spaltenfamiliendaten, die im MemStore gespeichert sind, zu einem HFile pro Flush zu löschen. In konfigurierbaren Intervallen werden dann HFiles zu größeren HFiles zusammengefasst. Diese Strategie reiht die kritische Verdichtungsoperation in HBase in eine Warteschlange ein.

Regionen in HBase - Dummies

Die Wahl des Herausgebers

Wie man Dateien in C ++ kopiert - Dummies

Wie man Dateien in C ++ kopiert - Dummies

Ah, eine Datei kopieren - etwas so einfaches, es passiert alles Zeit. Kopiere diese Datei dorthin; Kopieren Sie diese Datei hier. Aber was genau passiert, wenn Sie eine Datei kopieren? Sie erstellen tatsächlich eine neue Datei und füllen diese mit dem gleichen Inhalt wie die Originaldatei. Und wie machst du das? Nun, ...

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Wenn Sie ein Verzeichnis erstellen möchten, können Sie das MKdir Funktion. Wenn die Funktion das Verzeichnis für Sie erstellen kann, gibt sie eine 0 zurück. Andernfalls wird ein Wert ungleich Null zurückgegeben. (Wenn Sie es ausführen, erhalten Sie eine -1, aber Ihre beste Wette - immer - ist es, gegen 0 zu testen.) Hier ist einige ...

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Mit einer mathematischen Vorlage erstellt, die man normalerweise benötigt Zugriff auf eine Vielzahl von Berechnungen, aber nur jeweils eine oder zwei dieser Berechnungen. Zum Beispiel, wenn jemand Ihre Hypothek berechnet, muss er die Amortisationsrechnung nicht kennen. Die Person kann jedoch die Amortisationsberechnung benötigen, wenn Sie mit ...

Die Wahl des Herausgebers

ASVAB: Lesen für die Studie - Dummies

ASVAB: Lesen für die Studie - Dummies

Lesen für die Zwecke des Studiums der ASVAB ist eine andere Art des Lesens. Leseverständnis erfordert nur, dass Sie Informationen lange genug im Kurzzeitgedächtnis speichern, um einige Sekunden später eine Frage zu beantworten. Zum Lesen für die Zwecke des Studiums müssen Sie wichtige Informationen in Ihr Langzeitgedächtnis einpflegen - ...

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

Als wäre Algebra nicht anspruchsvoll genug, einige Fragen zur Der Subtest Mathematik auf dem ASVAB wird auch eine Ungleichheit einwerfen - nur um sicherzustellen, dass Sie aufmerksam sind. Wie erkennst du eine Ungleichheit? Halten Sie Ausschau nach Fragen mit mehr als oder weniger als Symbolen oder nach Graphen, die eine Zahlenlinie mit einem ...

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

Der Subtest Mathematikwissen auf dem ASVAB wird Fragen beinhalten, die Sie fragen mit Teilen eines Ganzen oder Fraktionen arbeiten. Diese Fragen können das Multiplizieren, Dividieren, Addieren, Subtrahieren und Konvertieren von Brüchen beinhalten, ähnlich den folgenden Übungsfragen. Übungsfragen Welche Fraktionen sind nicht gleichwertig? Gegeben einfach den Ausdruck. Antworten und Erklärungen Das richtige ...

Die Wahl des Herausgebers

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Adobe besitzt sowohl Flash als auch Dreamweaver Daher finden Sie großartige Unterstützung für Flash-Dateien in Dreamweaver. Das Dialogfeld "FLV einfügen" erleichtert das Festlegen von Parametern für Flash. Dreamweaver erkennt sogar automatisch die Größe von Flash-Videodateien. Sie können Flash auch zum Erstellen und Einfügen von Audiodateien verwenden, wobei nur der Player angezeigt wird.

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Dreamweaver bietet Werkzeuge zum Erstellen von Bildern Einstellungen, einschließlich der Helligkeit und des Kontrastes. Durch die Anpassung der Bildhelligkeit können Sie die Gesamtlichtmenge in einem Bild ändern. Kontrast steuert den Unterschied zwischen hellen und dunklen Bereichen eines Bildes. Wenn Sie die Dreamweaver-Bearbeitungswerkzeuge verwenden, wird das Bild dauerhaft geändert, wenn die Seite ...

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Wenn Sie Ihrer Website ein Bild hinzufügen, erscheint anfangs fast magisch, weil der Prozess mit Dreamweaver so einfach ist. Die Herausforderung bei Webgrafiken besteht darin, sie nicht zu Ihren Seiten hinzuzufügen, sondern gut aussehende Bilder zu erstellen, die schnell im Browser Ihres Viewers geladen werden. Sie benötigen ein anderes Programm wie Photoshop, Photoshop Elements oder Fireworks, um ...