Video: What is Middleware? Service Oriented Architecture Explained 2024
In den meisten Situationen ist das Zwei Middleware-Dienste - Auswahl und Extraktion sowie Qualitätssicherung - finden auf derselben -Plattform (System) statt, auf der sich die Datenquelle befindet. Wenn Ihr Data Warehouse jedoch auf einer anderen Plattform als der Datenquelle gehostet wird, müssen Sie einen Datenbewegungsdienst verwenden, um die System-zu-System-Übertragung der Daten zu bewirken.
Sie können wahrscheinlich einen relativ einfachen Dienst verwenden (z. B. durch ein einfaches Dateiübertragungsprogramm). Der Bewegungsservice, wenn Sie ihn an dieser Stelle benötigen, verschiebt die QA-Daten einfach in die Umgebung, in der Sie zusätzliche Transformationen vornehmen möchten.
Wenn Sie Ihre Transformation und QA-Verarbeitung auf einer Plattform durchführen, die sich von der Plattform unterscheidet, auf der Sie Ihr Produktions-Data Warehouse ausführen (z. B. auf einem Entwicklungsserver und nicht auf dem Betriebsserver)) müssen Sie einen weiteren Datenbewegungsdienst ausführen, um die Daten an den Ort zu bringen, an dem sie sich letztendlich befinden sollen. Dieser Prozess beinhaltet normalerweise nur eine relativ einfache Dateiübertragung.
Der Datenladedienst lädt die extrahierten, QA'd-, transformierten und re-QA-Daten in Ihr Lager. Sie können Daten über ein benutzerdefiniertes Programm, SQL (z. B. eine INSERT-Anweisung) oder ein Dienstprogramm laden.
Wenn Sie ein großes Datenvolumen laden müssen, versuchen Sie, ein Schnellladedienstprogramm zu verwenden, das normalerweise viel weniger Zeit in Anspruch nimmt als ein programmatischer oder SQL-basierter Ansatz.
Wenn Sie SQL verwenden, um Ihre Daten in eine relationale Datenbank zu laden, versuchen Sie, das Laden so effizient wie möglich zu gestalten, indem Sie die Protokollierung ausschalten (sofern Ihr DBMS-Produkt dies zulässt). Wenn der Ladejob abnormal beendet wird, müssen Sie nur die Anweisung DROP oder TRUNCATE verwenden, um die teilweise geladene Tabelle zu entfernen, das Problem zu beheben, das die Beendigung verursacht hat, und den Job neu zu starten.
Dieser Prozess ist normalerweise viel schneller als wenn Sie die für OLTP-Daten und die Transaktionsintegrität erforderlichen Funktionen (mit begleitendem Overhead) aktivieren.
