Video: OCPUS18 - Denali: The Next-Generation High-Density Storage Interface 2024
Ein Data Warehouse Lite ist ein schnörkelloser, unkomplizierter, Low-Tech-Ansatz zur Bereitstellung von Daten, die bei einigen Ihre unternehmerische Entscheidungsfindung. No-Frills bedeutet, dass Sie nach Möglichkeit bewährte Fähigkeiten und Tools zusammenstellen, die bereits in Ihrem Unternehmen zum Aufbau Ihres Systems eingesetzt werden.
Sachgebiete und Dateninhalt eines Data Warehouse Lite
Ein Data Warehouse lite konzentriert sich auf die Berichterstattung oder Analyse von nur einem oder möglicherweise zwei Themenbereichen. Angenommen, Sie arbeiten in einer drahtlosen Abteilung einer Telefongesellschaft und analysieren den Verkauf von Diensten wie Minuten im Netzwerk, Minuten außerhalb des Netzwerks, Textnachrichten, Internetzugriff und andere mobile Nutzung an private Haushalte.
Wenn Sie eine Data Warehouse-Lizenz ausschließlich zu diesem Zweck erstellen, verfügen Sie über alle notwendigen Informationen, um Ihre Analyse und Berichterstellung für den Verbrauchermarkt zu unterstützen. Sie haben jedoch keine Informationen über Geschäftsbenutzer und den Zahlungsverlauf, da diese Informationen Teil eines anderen Themenbereichs sind, wie in dieser Abbildung dargestellt.
Basierend auf der Themenbereichsbeschränkung hat eine Data Warehouse-Datei gerade genug Dateninhalte, um den primären Zweck der Umgebung zu erfüllen, aber nicht genug für viele unstrukturierte Was-wäre-wenn-Szenarien.
Sie müssen daher aus der Menge aller möglichen Datenelemente sorgfältig auswählen und eine überschaubare Teilmenge auswählen - Elemente, die ohne Zweifel wichtig sind. Dieser Prozess ist für jede Data Warehouse-Implementierung gleich, mit der Ausnahme, dass Sie extrem diszipliniert sein müssen, wenn Sie Entscheidungen darüber treffen, welche Inhalte enthalten sein sollen.
Verwenden Sie Standardberichte, insbesondere solche, die derzeit eine große Anzahl an manuellen Vorbereitungen erfordern, als einen der wichtigsten Leitfäden zur Bestimmung des Dateninhalts in einer Data Warehouse-Datei.
Datenquellen
Ein Data Warehouse Lite verfügt über eine begrenzte Anzahl von Datenquellen - in der Regel eine bis eine Handvoll. Im Rahmen einer allgemeinen Einzelanwendungsumgebung fungiert beispielsweise die Data Warehouse-Datei als Umstrukturierungsagent für die Anwendungsdaten, um sie abfrage- und berichtsfreundlicher zu gestalten.
Das gebräuchlichste Verfahren zur Umstrukturierung der Daten einer einzelnen Anwendung ist die Denormalisierung des Inhalts der relationalen Datenbanktabellen der Anwendung, um so viele relationale Joinoperationen zu eliminieren (der Prozess der Zusammenführung von Daten aus mehr als einer Datenbanktabelle)) wie möglich, wenn Benutzer Berichte ausführen oder einfache Abfragen durchführen.
Denormalisierung ist das Gegenteil des relationalen Datenbankkonzepts der Normalisierung, ein etwas komplexer Satz von Richtlinien, der Ihnen mitteilt, welche Datenelemente in welchen Tabellen in einer Datenbank enthalten sein sollen.
Wenn Sie eine Datenbank denormalisieren, machen Sie sich keine Gedanken über duplizierte Daten; Sie versuchen, Datenzeilen in einer einzelnen Tabelle zu erstellen, die höchstwahrscheinlich die Berichte und Abfragen widerspiegelt, die Benutzer ausführen. Diese Abbildung zeigt ein Beispiel für ein Single-Source-Data Warehouse, das auf Denormalisierung basiert.
Obwohl Sie extern bereitgestellte Daten in einer Data Warehouse-Implementierung verwenden können, werden die von Ihnen verwendeten Daten selten neu erfasst. Es ist wahrscheinlicher, dass Sie Daten einbeziehen, die Sie bereits für die Analyse verwenden (möglicherweise in einer eigenständigen Weise).
Business-Intelligence-Tools
Die Benutzer eines Data-Warehouse-Lites stellen in der Regel Fragen und erstellen Berichte, die eine "Tell me what happen" -Perspektive widerspiegeln. Da diese Benutzer nicht viel analytische Verarbeitung durchführen, sollten die Produkte, die sie für den Zugriff auf das Data Warehouse verwenden, einfach zu verwenden sein.
Datenextraktion, Bewegung und Laden
Einfachheit ist der Name des Spiels in einer Data Warehouse-Datei. Machen Sie daher den Vorgang des Extrahierens von Daten aus Quellen und Ausführen aller Funktionen, die zum Vorbereiten dieser Daten zum Laden erforderlich sind, so einfach wie möglich, indem Sie diese beiden Elemente verwenden:
-
Einfache Dateiextrakte aus den Geschäftssystemen und Dateiübertragungen, Sie können Daten aus ihren Quellen in das Data Warehouse verschieben.
-
Einfacher benutzerdefinierter Code (oder ein einfach zu bedienendes Tool), mit dem die Daten extrahiert und verschoben werden können
Wenn die Datenquelle für Ihr Data Warehouse lite lautet Da Sie auf einer relationalen Datenbank basieren und planen, dasselbe Datenbankprodukt für Ihr Data Warehouse zu verwenden, können Sie mit SQL mühelos Daten extrahieren und verschieben. Diese Schritte - wie in der Abbildung gezeigt - stellen eine Standardprozedur für diesen Prozess dar (Sie sollten diese Schritte natürlich an Ihre spezielle Umgebung anpassen):
-
Verwenden Sie auf dem System, auf dem sich Ihr Warehouse befindet, SQL CREATE TABLE. Anweisung, um die Definition für jede Tabelle in Ihrem Data Warehouse zu erstellen.
-
Erstellen Sie eine Datenbanksicherung , die Kopien aller Tabellen aus der Quelle enthält, die Daten an das Warehouse liefern, und laden Sie diese Tabellen anschließend erneut in einen Zwischenspeicherbereich auf dem System, auf dem Sie Ihr Data Warehouse lokalisieren möchten. Sie sollten sicherstellen, dass die Netzwerkbandbreite und das Zeitfenster ausreichend sind, um alle Quelltabellen mit einem Dateiübertragungsprogramm in das System zu kopieren.
Verwenden Sie die SQL INSERT-Anweisung mit einer geschachtelten SELECT-Anweisung, die die Quellentabellen und ihre jeweiligen Spalten angibt, die die Data Warehouse-Tabelle füllen (und wie die Tabellen verknüpft werden), um die Daten in Ihr Data Warehouse zu laden.
-
Führen Sie eine Reihe von Qualitätssicherungsroutinen aus, um sicherzustellen, dass alle Daten korrekt geladen wurden.
-
Überprüfen Sie die Anzahl der Zeilen, numerische Gesamtsummen und was auch immer Sie können.
Architektur
Die Architektur eines Data Warehouse Lite besteht aus der Datenbank, in der die Daten gespeichert werden, den Business Intelligence-Tools für den Zugriff auf die Daten, der Art der Datenverschiebung und der Anzahl der Bereiche.Das Leitmotiv dieser Umgebung ist minimalistisch: Keine Glocken, keine Pfeifen, nichts Besonderes - nur genug Technologie auf die Umgebung angewendet, um Benutzern den Zugriff auf Daten zu geben, die sie benötigen.
Die Architektur einer Data Warehouse-Datei, wie in dieser Abbildung gezeigt, enthält folgende Hauptkomponententypen:
Eine einzelne Datenbank enthält die Daten des Warehouse.
-
Diese Datenbank wird direkt von jeder der Quellen gespeist, die Daten an das Lager liefern.
-
Benutzer greifen direkt vom Lager auf Daten zu.