Data Warehouse-Modernisierung mit Hadoop - Dummies

Data Warehouses stehen unter Stress und versuchen, mit erhöhte Anforderungen an ihre endlichen Ressourcen. Hadoop kann in dieser Data-Warehouse-Situation eine erhebliche Entlastung bringen.

Der rapide Anstieg der weltweit erzeugten Daten hat sich auch auf Data Warehouses ausgewirkt, da die von ihnen verwalteten Datenmengen zunehmen - teilweise weil mehr strukturierte Daten sind, die Art von Daten, die stark typisiert sind und in Zeilen und Spalten gekapselt - wird erzeugt, aber auch, weil Sie sich häufig mit behördlichen Anforderungen befassen müssen, die darauf abzielen, einen abfragbaren Zugriff auf historische Daten zu gewährleisten.

Außerdem wird die Verarbeitungsleistung in Data Warehouses häufig verwendet, um Transformationen der relationalen Daten durchzuführen, wenn diese entweder in das Warehouse selbst eintreten oder in einen Child Data Mart geladen werden (eine separate Untermenge des Data Warehouse) für eine bestimmte Analyseanwendung.

Darüber hinaus besteht für die Analysten die Notwendigkeit, neue Abfragen für die in den Lagerhäusern gespeicherten strukturierten Daten zu erstellen, und diese Ad-hoc-Abfragen können oft erhebliche Datenverarbeitungsressourcen verwenden. Manchmal kann ein einmaliger Bericht ausreichen, und manchmal ist eine explorative Analyse notwendig, um Fragen zu finden, die noch nicht gestellt wurden und die einen signifikanten geschäftlichen Nutzen bringen können.

Die Quintessenz ist, dass Data Warehouses oft für Zwecke verwendet werden, die über ihr ursprüngliches Design hinausgehen.

Die Abbildung zeigt mithilfe einer High-Level-Architektur, wie Hadoop mit Data Warehouses zusammenleben und einige der Zwecke erfüllen kann, für die sie nicht ausgelegt sind.

Hadoop ist ein Warehouse Helfer, kein Lagerersatz. Hadoop kann ein Data-Warehousing-Ökosystem auf vier Arten modernisieren. hier sind sie zusammengefasst:

• Geben Sie eine Landezone für alle Daten an.

• Behalten Sie die Daten bei, um ein abfragbares Archiv mit kalten Daten bereitzustellen.

• Nutzen Sie die umfangreichen Stapelverarbeitungseffizienzen von Hadoop, um Daten für das Warehouse vorzuverarbeiten und zu transformieren.

• Aktivieren Sie eine Umgebung für die Ad-hoc-Datenermittlung.