Middleware Services: Data Mapping und Transformation - Dummies

Diese Abbildung zeigt eine Umgebung, in der Daten aus drei verschiedenen Datenquellen für die Aufnahme in ein Data Warehouse extrahiert werden und sich jede der drei Quellen auf einer anderen Plattform befindet. Irgendwann im Middleware-Prozess müssen diese QA-Extrakte für einen kombinierten Mapping- und Transformationsprozess zusammengeführt werden.

Der Mapping- und Transformationsdienst verarbeitet klassische Data Warehousing-Probleme. Angenommen, eine Datenquelle speichert Kunden unter Verwendung einer fünfstelligen Kunden-ID und eine andere Quelle verwendet eine sechsstellige numerische Kunden-ID.

Um Vergleiche und andere Data-Warehouse-Prozesse zu ermöglichen, benötigen Sie eine gemeinsame Methode zur Kundenidentifizierung: Eines der Identifizierungsschemata muss abhängig von den Eigenschaften der Umgebung in das andere oder möglicherweise ein drittes neutrales Identifikationssystem konvertiert werden.

Zusätzlich zur Behandlung systemübergreifender Inkompatibilitäten können zusätzliche Umwandlungen

• umfassen. Datenzusammenfassung: Eine Zusammenfassung kann früher im Prozess vor der systemübergreifenden Bewegung durchgeführt werden, abhängig von der Besonderheiten Ihrer spezifischen Data-Warehousing-Umgebung.

• Selektive Aufnahme von Daten: Sie können Datensätze aus nur einer Datenquelle einschließen, z. B. wenn Sie einen vergleichbaren Datensatz aus einem anderen Extrakt erhalten. Sie wissen nicht, bis Sie alle Beiträge der Datenquelle konvergieren, wie selektive Einschlussregeln angewendet werden.

• Datenkonvergenz: Bestimmte Elemente aus einer Datenquelle werden mit Elementen aus einer anderen Quelle kombiniert, um einen einheitlichen Datensatz für jeden Kunden, jedes Produkt, jeden Vertrag oder jede Art von Daten zu erstellen. mit.

Der wichtigste Punkt, an den Sie sich beim Mapping- und Transformationsdienst erinnern sollten, ist, dass Sie am Ende einen einheitlichen Datensatz haben sollten, der bereit ist, in das Data Warehouse geladen zu werden - sobald Sie ein paar weitere Schritte ausgeführt haben.

In komplexen Data Warehousing-Umgebungen sollten Sie möglicherweise mehrere Transformationsprozesse in Betracht ziehen. Wie in dieser Abbildung gezeigt, konvergieren die Datenextrakte beispielsweise auf mehreren verschiedenen Transformationsebenen, bevor sie weiter in der Middleware-Pipeline nach unten verschoben werden. Auf diese Weise können Sie mehr Leistung für den Transformationsprozess bereitstellen, indem Sie mehrere Server zu einem frühen Zeitpunkt verwenden.