Middleware für Data Warehousing - Dummies

Middleware ist eine Software, die Softwarekomponenten miteinander verbindet. In einer Data Warehousing-Umgebung sind die Middleware-Services die Gruppe von Programmen und Routinen, die Folgendes ausführen:

• Ziehen Sie Daten aus der Quelle (oder den Quellen).

• Stellen Sie sicher, dass die Daten korrekt sind.

• Verschieben Sie die Daten bei Bedarf von der Plattform zur Plattform.

• Behandeln Sie alle erforderlichen Datentransformationen.

• Laden Sie die Daten in die Datenbank (oder Datenbanken) des Data Warehouse.

In einem formaleren Sinn werden die Elemente in der vorhergehenden Liste von diesen Middleware-Diensten behandelt:

• Datenauswahl und -extraktion

• Datenqualitätssicherung, Teil I (auf Komponentenebene)

• Datenbewegung, Teil I (auch auf Komponentenebene)

• Datenzuordnung und Transformation

• Datenqualitätssicherung, Teil II (nach erfolgter Transformation)

• Datenverschiebung, Teil II (in die Plattformumgebung des Datawarehouse)

• Datenladen (in das Data Warehouse) > Diese Abbildung veranschaulicht, wie diese Middleware-Services in einer mittelgroßen Data Warehousing-Umgebung zusammenfließen.

Ihre Data Warehousing-Umgebung kann jedoch von der in dieser Abbildung gezeigten abweichen, insbesondere im Bereich der Datenübertragungsdienste. Ein Datenbewegungsdienst ist jedes Mal erforderlich, wenn Daten Systemgrenzen überschreiten. Ihr konzeptionelles Bild unterscheidet sich je nach den Details Ihrer jeweiligen End-to-End-Umgebung.

Sie müssen die Data Warehouse-Middleware unbedingt in Bezug auf die einzelnen Services in der vorherigen Liste planen, konzipieren und anderweitig darüber nachdenken, anstatt in generischen Begriffen wie "Extraktions-Tools". "Viele verschiedene Anbieter bieten einige, viele oder alle diese Dienste als Teil eines einzelnen Produkts oder einer Produktreihe an.

Ein Tool mit starken Zuordnungs- und Umwandlungsdiensten kann jedoch beispielsweise bei Datenladediensten schwach sein, oder ein Tool, das einen umfangreichen Satz von Extraktionsdiensten bereitstellt, ist möglicherweise weniger effektiv im Zuordnungs- und Transformationsbereich, zusätzlich zur Datenqualitätssicherung.

Bevor Sie ein Tool für Ihr Data-Warehousing-Projekt auswählen (wenn es sich dabei um die von Ihnen gewählte Route handelt, statt um benutzerdefiniertes Coding), sollten Sie sich über die besonderen Herausforderungen in Ihrer Umgebung ein Bild machen. Wenn Sie zum Beispiel relativ einfache Datenextraktionsanforderungen haben, aber herausfordernde Datenqualitätsprobleme haben, konzentrieren Sie sich darauf, das beste verfügbare Qualitätssicherungstool zu finden, selbst wenn es nur so genannte Extraktionsfähigkeiten hat.

(Dieser Ratschlag gilt auch dann, wenn das Werkzeug keine Extraktionsmöglichkeiten hat. In diesem Fall müssen Sie es mit einem anderen Werkzeug kombinieren.)