Zuhause Persönliche Finanzen Big Data Analysis und das Data Warehouse - Dummies

Big Data Analysis und das Data Warehouse - Dummies

Inhaltsverzeichnis:

Video: Big Data in 3 Minuten erklärt 2025

Video: Big Data in 3 Minuten erklärt 2025
Anonim

Sie werden einen Mehrwert darin finden, die Fähigkeiten des Data Warehouse und der Big Data-Umgebung zusammenzubringen. Sie müssen eine Hybridumgebung erstellen, in der Big Data mit dem Data Warehouse zusammenarbeiten kann.

Zunächst ist es wichtig zu erkennen, dass sich das Data Warehouse, wie es heute entworfen wird, kurzfristig nicht ändern wird.

Daher ist es pragmatischer, das Data Warehouse für das zu verwenden, wofür es entworfen wurde - eine gut überprüfte Version der Wahrheit über ein Thema bereitzustellen, das das Unternehmen analysieren möchte. Das Lager kann Informationen über die Produktlinie eines bestimmten Unternehmens, seine Kunden, seine Lieferanten und die Details der Transaktionen eines Jahres enthalten.

Die im Data Warehouse oder einem Abteilungs-Data-Mart verwalteten Informationen wurden sorgfältig konstruiert, damit die Metadaten korrekt sind. Mit dem Wachstum neuer webbasierter Informationen ist es praktisch und oft notwendig, diese gewaltige Datenmenge im Zusammenhang mit historischen Daten zu analysieren. Hier kommt das Hybridmodell ins Spiel.

Bestimmte Aspekte der Verknüpfung des Data Warehouse mit Big Data können relativ einfach sein. Beispielsweise stammen viele der großen Datenquellen aus Quellen, die ihre eigenen gut gestalteten Metadaten enthalten. Komplexe E-Commerce-Sites enthalten wohldefinierte Datenelemente. Daher arbeitet die Informationsmanagementorganisation bei der Analyse zwischen dem Warehouse und der Big Data-Quelle mit zwei Datensätzen mit sorgfältig entworfenen Metadatenmodellen, die rationalisiert werden müssen.

In einigen Situationen fehlen den Informationsquellen natürlich explizite Metadaten. Bevor ein Analyst die historischen Transaktionsdaten mit den weniger strukturierten Big Data kombinieren kann, muss Arbeit geleistet werden. Typischerweise wird eine anfängliche Analyse von Petabytes von Daten interessante Muster aufdecken, die dabei helfen können, subtile Veränderungen in der Geschäftstätigkeit oder potenzielle Lösungen für die Diagnose eines Patienten vorherzusagen.

Die anfängliche Analyse kann mithilfe von Tools wie MapReduce mit dem verteilten Dateisystem-Framework von Hadoop abgeschlossen werden. An diesem Punkt können Sie beginnen zu verstehen, ob es in der Lage ist, bei der Beurteilung des Problems zu helfen.

Im Prozess der Analyse ist es ebenso wichtig, unnötige Daten zu eliminieren, wie Daten für den Geschäftskontext zu identifizieren. Wenn diese Phase abgeschlossen ist, müssen die verbleibenden Daten transformiert werden, damit die Metadatendefinitionen präzise sind. Auf diese Weise werden die Ergebnisse genau und aussagekräftig sein, wenn die Big Data mit traditionellen historischen Daten aus dem Lager kombiniert werden.

Der Big-Data-Integrations-Lynchpin

Dieser Prozess erfordert eine wohldefinierte Datenintegrationsstrategie. Während die Datenintegration ein entscheidendes Element bei der Verwaltung von Big Data ist, ist sie bei der Erstellung einer Hybridanalyse mit dem Data Warehouse gleichermaßen wichtig. Tatsächlich ist der Prozess des Extrahierens von Daten und des Transformierens in einer hybriden Umgebung sehr ähnlich wie die Ausführung dieses Prozesses in einem traditionellen Data Warehouse.

Im Data Warehouse werden Daten aus traditionellen Quellsystemen wie CRM- oder ERP-Systemen extrahiert. Es ist wichtig, dass Elemente aus diesen verschiedenen Systemen korrekt aufeinander abgestimmt sind.

Extrahieren, Umwandeln und Laden von Daten für Data Warehouses

Im Data Warehouse finden Sie häufig eine Kombination aus relationalen Datenbanktabellen, flachen Dateien und nicht relationalen Quellen. Ein gut konstruiertes Data Warehouse wird so strukturiert, dass die Daten in ein gemeinsames Format konvertiert werden, sodass Abfragen präzise und konsistent verarbeitet werden können. Die extrahierten Dateien müssen so transformiert werden, dass sie den Geschäftsregeln und -prozessen des Themenbereichs entsprechen, den das Data Warehouse analysieren soll.

Mit anderen Worten müssen die Daten aus den großen Datenquellen extrahiert werden, damit diese Quellen sicher zusammenarbeiten und aussagekräftige Ergebnisse liefern können. Darüber hinaus müssen die Quellen so transformiert werden, dass sie hilfreich bei der Analyse der Beziehung zwischen den historischen Daten und den dynamischeren und Echtzeitdaten sind, die aus Big Data-Quellen stammen.

Das Laden von Informationen in das Big Data-Modell unterscheidet sich von dem, was Sie in einem traditionellen Data Warehouse erwarten würden. Bei Data Warehouses ändert sich die Codierung nach der Codierung nie. Ein typisches Data Warehouse wird dem Unternehmen eine Momentaufnahme von Daten liefern, die auf der Notwendigkeit basieren, ein bestimmtes geschäftliches Problem zu analysieren, das überwacht werden muss, z. B. Inventar oder Vertrieb.

Die verteilte Struktur von Big Data führt Organisationen häufig dazu, zunächst Daten in eine Reihe von Knoten zu laden und dann die Extraktion und Transformation durchzuführen. Bei der Erstellung eines Hybrids aus dem traditionellen Data Warehouse und der Big Data-Umgebung kann die verteilte Natur der Big Data-Umgebung die Fähigkeit von Organisationen drastisch verändern, große Datenmengen im Zusammenhang mit dem Unternehmen zu analysieren.

Big Data Analysis und das Data Warehouse - Dummies

Die Wahl des Herausgebers

ÜBen Mathe-Fragen für die Praxis: Sequenzen - Dummies

ÜBen Mathe-Fragen für die Praxis: Sequenzen - Dummies

Wenn Sie eine Frage zur Praxis Core-Prüfung beantworten Wenn Sie eine arithmetische oder geometrische Sequenz lösen müssen, denken Sie daran: Es geht darum, regelmäßige Muster zu finden - und manchmal rückwärts zu arbeiten. In den folgenden Übungsfragen fängst du damit an, einen bestimmten Begriff in einer Folge zu finden (einfach: suche einfach nach dem Unterschied zwischen jedem ...

ÜBen Mathematische Fragen für die Praxis: Ähnliche und kongruente Formen - Dummies

ÜBen Mathematische Fragen für die Praxis: Ähnliche und kongruente Formen - Dummies

Auch wenn zwei Formen aussehen identisch, können sie nicht sein. Zum Beispiel können Sie bei der Praxis Core-Prüfung auf eine Frage stoßen, bei der zwei Formen gleich aussehen, aber es wird Ihnen gesagt, sie seien "ähnlich". " Was bedeutet das? Was ist, wenn sie als "kongruent" gekennzeichnet sind? Wenn Sie sich nicht sicher sind, sollten die folgenden Übungsfragen (und ihre Erklärungen) ...

ÜBen Mathematische Fragen für die Praxis: Vereinfachen eines algebraischen Ausdrucks - Dummys

ÜBen Mathematische Fragen für die Praxis: Vereinfachen eines algebraischen Ausdrucks - Dummys

Einige algebraische Ausdrücke auf der Praxis Core Prüfung kann einschüchternd aussehen, und Sie können sogar auf sie aufgeben und weitermachen. Wie Sie in den folgenden Übungsfragen sehen werden, können Sie jedoch einige einfache Techniken verwenden, wie das Faktorisieren und Kombinieren von ähnlichen Begriffen, um sie zu lösen. Übungsfragen Welche der folgenden ist die vereinfachte ...

Die Wahl des Herausgebers

Fotografieren im Sportmodus mit einer Canon EOS Rebel T3-Kamera - Dummies

Fotografieren im Sportmodus mit einer Canon EOS Rebel T3-Kamera - Dummies

Der Sportmodus der Canon Rebel T3 und T3i führt zu einer Reihe von Einstellungen, mit denen Sie sich bewegende Motive fotografieren können. Zunächst wählt die Kamera eine kurze Verschlusszeit aus, die zum Stoppen der Bewegung benötigt wird. "Farben, Schärfe und Kontrast sind alle im Sportmodus Standard, wobei keine der Anpassungen im Portrait ...

Aufnahme von Bildern im Nahaufnahmemodus mit einer Canon EOS Rebel T3-Kamera

Aufnahme von Bildern im Nahaufnahmemodus mit einer Canon EOS Rebel T3-Kamera

Der Nahaufnahme-Modus der Canon Rebel T3 und T3i ermöglicht es Ihnen nicht, näher am Motiv zu fokussieren als bei einigen Nicht-Spiegelreflexkameras. Die Nahfokussierungsfähigkeiten Ihrer Kamera hängen ganz von der Linse ab, die Sie verwenden. (In der Bedienungsanleitung Ihres Objektivs sollte die minimale Fokussierentfernung angegeben werden.) Auswahl des Nahaufnahmemodus ...

Fotografieren im Querformat mit einer Canon EOS Rebel T3-Kamera - Dummies

Fotografieren im Querformat mit einer Canon EOS Rebel T3-Kamera - Dummies

Der Landschaftsmodus der Canon Rebel T3 und T3i, der für die Aufnahme von Aussichtspunkten, Stadtskylinen und anderen großformatigen Motiven konzipiert wurde, erzeugt eine große Schärfentiefe. Infolgedessen erscheinen Objekte, die sich sowohl in der Nähe der Kamera als auch in einiger Entfernung befinden, scharf fokussiert. Wie im Hochformat-Modus erreicht der Querformat-Modus die größere Schärfentiefe durch Manipulieren von ...

Die Wahl des Herausgebers

Erstellen und Verwenden von Verknüpfungen im dynamischen GP-Navigationsbereich - Dummies

Erstellen und Verwenden von Verknüpfungen im dynamischen GP-Navigationsbereich - Dummies

Microsoft Dynamics GP-Verknüpfungen werden angezeigt. Der obere Teil des Navigationsfensters, wenn Sie Ihre Dynamics GP Homepage anzeigen. Verwenden Sie Verknüpfungen, um häufig verwendete Fenster und Ressourcen in Dynamics GP schnell zu öffnen. Zum Beispiel können Sie einen Satz von Verknüpfungen zu den Fenstern erstellen, die Sie regelmäßig verwenden, und einen anderen Satz für die ...

MYOB Software für Dummies-Spickzettel (Neuseeland-Ausgabe) - Dummies

MYOB Software für Dummies-Spickzettel (Neuseeland-Ausgabe) - Dummies

Sie können MYOB verwenden für Ihre Geschäftsanforderungen schnell und einfach durch diese einfachen Verknüpfungen. Wenn Sie zusätzliche Hilfe benötigen, bieten viele Websites MYOB-Unterstützung an.

MYOB Software für Dummies Cheat Sheet (Australische Ausgabe) - Dummies

MYOB Software für Dummies Cheat Sheet (Australische Ausgabe) - Dummies

Mit MYOB für Ihre Unternehmensanforderungen kann durch diese einfachen Abkürzungen noch schneller und einfacher gemacht werden. Und wenn Sie Hilfe benötigen, gibt es viele Websites, die Unterstützung anbieten.