Big Data Analysis und das Data Warehouse - Dummies

Sie werden einen Mehrwert darin finden, die Fähigkeiten des Data Warehouse und der Big Data-Umgebung zusammenzubringen. Sie müssen eine Hybridumgebung erstellen, in der Big Data mit dem Data Warehouse zusammenarbeiten kann.

Zunächst ist es wichtig zu erkennen, dass sich das Data Warehouse, wie es heute entworfen wird, kurzfristig nicht ändern wird.

Daher ist es pragmatischer, das Data Warehouse für das zu verwenden, wofür es entworfen wurde - eine gut überprüfte Version der Wahrheit über ein Thema bereitzustellen, das das Unternehmen analysieren möchte. Das Lager kann Informationen über die Produktlinie eines bestimmten Unternehmens, seine Kunden, seine Lieferanten und die Details der Transaktionen eines Jahres enthalten.

Die im Data Warehouse oder einem Abteilungs-Data-Mart verwalteten Informationen wurden sorgfältig konstruiert, damit die Metadaten korrekt sind. Mit dem Wachstum neuer webbasierter Informationen ist es praktisch und oft notwendig, diese gewaltige Datenmenge im Zusammenhang mit historischen Daten zu analysieren. Hier kommt das Hybridmodell ins Spiel.

Bestimmte Aspekte der Verknüpfung des Data Warehouse mit Big Data können relativ einfach sein. Beispielsweise stammen viele der großen Datenquellen aus Quellen, die ihre eigenen gut gestalteten Metadaten enthalten. Komplexe E-Commerce-Sites enthalten wohldefinierte Datenelemente. Daher arbeitet die Informationsmanagementorganisation bei der Analyse zwischen dem Warehouse und der Big Data-Quelle mit zwei Datensätzen mit sorgfältig entworfenen Metadatenmodellen, die rationalisiert werden müssen.

In einigen Situationen fehlen den Informationsquellen natürlich explizite Metadaten. Bevor ein Analyst die historischen Transaktionsdaten mit den weniger strukturierten Big Data kombinieren kann, muss Arbeit geleistet werden. Typischerweise wird eine anfängliche Analyse von Petabytes von Daten interessante Muster aufdecken, die dabei helfen können, subtile Veränderungen in der Geschäftstätigkeit oder potenzielle Lösungen für die Diagnose eines Patienten vorherzusagen.

Die anfängliche Analyse kann mithilfe von Tools wie MapReduce mit dem verteilten Dateisystem-Framework von Hadoop abgeschlossen werden. An diesem Punkt können Sie beginnen zu verstehen, ob es in der Lage ist, bei der Beurteilung des Problems zu helfen.

Im Prozess der Analyse ist es ebenso wichtig, unnötige Daten zu eliminieren, wie Daten für den Geschäftskontext zu identifizieren. Wenn diese Phase abgeschlossen ist, müssen die verbleibenden Daten transformiert werden, damit die Metadatendefinitionen präzise sind. Auf diese Weise werden die Ergebnisse genau und aussagekräftig sein, wenn die Big Data mit traditionellen historischen Daten aus dem Lager kombiniert werden.

Der Big-Data-Integrations-Lynchpin

Dieser Prozess erfordert eine wohldefinierte Datenintegrationsstrategie. Während die Datenintegration ein entscheidendes Element bei der Verwaltung von Big Data ist, ist sie bei der Erstellung einer Hybridanalyse mit dem Data Warehouse gleichermaßen wichtig. Tatsächlich ist der Prozess des Extrahierens von Daten und des Transformierens in einer hybriden Umgebung sehr ähnlich wie die Ausführung dieses Prozesses in einem traditionellen Data Warehouse.

Im Data Warehouse werden Daten aus traditionellen Quellsystemen wie CRM- oder ERP-Systemen extrahiert. Es ist wichtig, dass Elemente aus diesen verschiedenen Systemen korrekt aufeinander abgestimmt sind.

Extrahieren, Umwandeln und Laden von Daten für Data Warehouses

Im Data Warehouse finden Sie häufig eine Kombination aus relationalen Datenbanktabellen, flachen Dateien und nicht relationalen Quellen. Ein gut konstruiertes Data Warehouse wird so strukturiert, dass die Daten in ein gemeinsames Format konvertiert werden, sodass Abfragen präzise und konsistent verarbeitet werden können. Die extrahierten Dateien müssen so transformiert werden, dass sie den Geschäftsregeln und -prozessen des Themenbereichs entsprechen, den das Data Warehouse analysieren soll.

Mit anderen Worten müssen die Daten aus den großen Datenquellen extrahiert werden, damit diese Quellen sicher zusammenarbeiten und aussagekräftige Ergebnisse liefern können. Darüber hinaus müssen die Quellen so transformiert werden, dass sie hilfreich bei der Analyse der Beziehung zwischen den historischen Daten und den dynamischeren und Echtzeitdaten sind, die aus Big Data-Quellen stammen.

Das Laden von Informationen in das Big Data-Modell unterscheidet sich von dem, was Sie in einem traditionellen Data Warehouse erwarten würden. Bei Data Warehouses ändert sich die Codierung nach der Codierung nie. Ein typisches Data Warehouse wird dem Unternehmen eine Momentaufnahme von Daten liefern, die auf der Notwendigkeit basieren, ein bestimmtes geschäftliches Problem zu analysieren, das überwacht werden muss, z. B. Inventar oder Vertrieb.

Die verteilte Struktur von Big Data führt Organisationen häufig dazu, zunächst Daten in eine Reihe von Knoten zu laden und dann die Extraktion und Transformation durchzuführen. Bei der Erstellung eines Hybrids aus dem traditionellen Data Warehouse und der Big Data-Umgebung kann die verteilte Natur der Big Data-Umgebung die Fähigkeit von Organisationen drastisch verändern, große Datenmengen im Zusammenhang mit dem Unternehmen zu analysieren.