Datenextraktion, Bewegung und Laden für Data Warehouse Deluxe - Dummies

Data Warehouse Deluxe-Implementierungen sind groß - und werden immer größer. Implementierungen, die Hunderte von Gigabytes (ein Gigabyte entspricht 1 Milliarde Byte) und sogar Terabytes (1 Billion Byte) verwenden, werden zunehmend häufiger. Um dieses Datenvolumen und den Benutzerzugriff zu verwalten, benötigen Sie einen sehr robusten Server und eine Datenbank.

Bereiten Sie sich auf die Herausforderung vor! Mit einem Data Warehouse lite können Sie normalerweise Datenbewegungen von einer Quelle zur anderen auf einfache Art und Weise bewältigen - mit dem Data Warehouse deluxe betreten Sie jetzt die Difficulty Zone, in der viele Data Warehousing-Projekte ihre Waterloo.

Sie haben wahrscheinlich aus verschiedenen Gründen Schwierigkeiten in dieser Domäne:

• Sie haben es mit vielen verschiedenen Datenquellen zu tun, von denen einige überlappende Daten enthalten können. Beispielsweise können Lieferanteninformationen von zwei verschiedenen Einkaufssystemen stammen, und einige Ihrer Lieferanten haben Einträge in beiden Systemen.

  Sie werden wahrscheinlich unterschiedliche Identifizierungsgruppen kennenlernen, die Sie konvergieren müssen (z. B. sechs alphanumerische Zeichen, die in einem der Systeme als SUPPLIER_ID identifiziert werden, und eine eindeutige Ganzzahl, die in der anderen als SUP_NUM bekannt ist).

• Wenn Ihr Data Warehouse groß ist (mehr als 250 Gigabyte), werden Sie wahrscheinlich Schwierigkeiten beim Extrahieren, Verschieben und Laden Ihrer Stapelfenster haben. Stapelfenster , Die Zeitfenster, in denen Aktualisierungen am Lager vorgenommen werden, werden durch die Anzahl der Datenquellen erschwert, die Sie bearbeiten müssen.

• Die Chancen für einen vermasselten Extraktions-, Verschiebungs-, Transformations- und Ladeprozess hängen exponentiell mit der Anzahl der Datenelemente zusammen, die in das Data Warehouse geladen werden.

  Wenn Sie einen bestimmten Schwierigkeitsfaktor (z. B. eine Ganzzahl) für den Abruf von Daten in das Warehouse festlegen könnten, würden die folgenden Maßnahmen zutreffen: Sie haben n -Daten. Elemente, die Sie mit einem Schwierigkeitsgrad von x in das Data Warehouse aufnehmen möchten. Wenn Sie jetzt 2 n Datenelemente haben, liegt Ihr Schwierigkeitsfaktor nicht bei 2 x; stattdessen ist es x quadratisch.

  Um diesen Schwierigkeitsfaktor verständlicher zu machen, weisen Sie n und x einige Zahlen zu. Nehmen wir an, Ihr Data Warehouse hat 100 Elemente (n) und der Schwierigkeitsfaktor (x) ist 5. Wenn Sie die Anzahl der Elemente verdoppeln ( n > = 200), Ihr Schwierigkeitsfaktor ist 25 (5 Quadrate), nicht 10 (5 x 2). Der Prozess des Umgangs mit so vielen Datenquellen, die alle auf einen Ort (Ihr Data Warehouse deluxe) ausgerichtet sind, hat alle Elemente von zu vielen Köchen in der Küche oder was auch immer dieser Spruch ist.

• Um den Vorgang des Extrahierens, Verschiebens, Umwandelns und Ladens reibungslos ablaufen zu lassen, müssen Sie wahrscheinlich mit vielen verschiedenen Anwendungseignern, offiziellen Datenbankhaltern und anderen Personen aus verschiedenen Organisationen umgehen, die alle kooperieren, als wären sie Teil eines professionellen Sinfonieorchesters.

  Die Realität ist jedoch, dass sie sich mehr wie eine Gruppe von Kindergartenstudenten verhalten, die jeweils ein Musikinstrument aus der Spielzeugtonne nehmen und ihnen sagen: "Jetzt spielt etwas! "Obwohl der Prozess nicht notwendigerweise zum Scheitern verurteilt ist, erwarten Sie eine Reihe von Iterationen, bis Sie das Data Warehouse Deluxe genau richtig geladen haben.

  Ein Data Warehouse deluxe kann drei Ebenen aufweisen (z. B. eine Data Warehouse-Datei), außer dass mehr Datenquellen und möglicherweise mehr als ein Typ von Benutzer-Tool auf das Warehouse zugreifen. Aber die Architektur für ein Data Warehouse deluxe sieht wahrscheinlich mehr danach aus, was in dieser Abbildung gezeigt wird, mit vielen verschiedenen Sammelpunkten für Daten.

Zusätzlich zu anderen erforderlichen "Wegstationen" für Ihre spezielle Umgebung kann Ihre Umgebung diese Elemente enthalten:

Data mart:

• Empfängt Teilmengen von Informationen aus dem Data Warehouse deluxe und dient als primärer Zugriffspunkt für Benutzer. Übergangstransformationsstation:

• Ein Bereich, in dem aus einigen Quellen extrahierte Datensätze einer Art von Transformationsprozess unterzogen werden, bevor sie die Pipeline in Richtung der Datenbank des Lagers verlagern. Qualitätssicherungsstation:

• Ein Bereich, in dem Datengruppen einer intensiven Qualitätssicherung unterzogen werden, bevor sie in das Data Warehouse verschoben werden.