Zuhause Persönliche Finanzen Big Data Analysis und das Data Warehouse - Dummies

Big Data Analysis und das Data Warehouse - Dummies

Inhaltsverzeichnis:

Video: Big Data in 3 Minuten erklärt 2025

Video: Big Data in 3 Minuten erklärt 2025
Anonim

Sie werden einen Mehrwert darin finden, die Fähigkeiten des Data Warehouse und der Big Data-Umgebung zusammenzubringen. Sie müssen eine Hybridumgebung erstellen, in der Big Data mit dem Data Warehouse zusammenarbeiten kann.

Zunächst ist es wichtig zu erkennen, dass sich das Data Warehouse, wie es heute entworfen wird, kurzfristig nicht ändern wird.

Daher ist es pragmatischer, das Data Warehouse für das zu verwenden, wofür es entworfen wurde - eine gut überprüfte Version der Wahrheit über ein Thema bereitzustellen, das das Unternehmen analysieren möchte. Das Lager kann Informationen über die Produktlinie eines bestimmten Unternehmens, seine Kunden, seine Lieferanten und die Details der Transaktionen eines Jahres enthalten.

Die im Data Warehouse oder einem Abteilungs-Data-Mart verwalteten Informationen wurden sorgfältig konstruiert, damit die Metadaten korrekt sind. Mit dem Wachstum neuer webbasierter Informationen ist es praktisch und oft notwendig, diese gewaltige Datenmenge im Zusammenhang mit historischen Daten zu analysieren. Hier kommt das Hybridmodell ins Spiel.

Bestimmte Aspekte der Verknüpfung des Data Warehouse mit Big Data können relativ einfach sein. Beispielsweise stammen viele der großen Datenquellen aus Quellen, die ihre eigenen gut gestalteten Metadaten enthalten. Komplexe E-Commerce-Sites enthalten wohldefinierte Datenelemente. Daher arbeitet die Informationsmanagementorganisation bei der Analyse zwischen dem Warehouse und der Big Data-Quelle mit zwei Datensätzen mit sorgfältig entworfenen Metadatenmodellen, die rationalisiert werden müssen.

In einigen Situationen fehlen den Informationsquellen natürlich explizite Metadaten. Bevor ein Analyst die historischen Transaktionsdaten mit den weniger strukturierten Big Data kombinieren kann, muss Arbeit geleistet werden. Typischerweise wird eine anfängliche Analyse von Petabytes von Daten interessante Muster aufdecken, die dabei helfen können, subtile Veränderungen in der Geschäftstätigkeit oder potenzielle Lösungen für die Diagnose eines Patienten vorherzusagen.

Die anfängliche Analyse kann mithilfe von Tools wie MapReduce mit dem verteilten Dateisystem-Framework von Hadoop abgeschlossen werden. An diesem Punkt können Sie beginnen zu verstehen, ob es in der Lage ist, bei der Beurteilung des Problems zu helfen.

Im Prozess der Analyse ist es ebenso wichtig, unnötige Daten zu eliminieren, wie Daten für den Geschäftskontext zu identifizieren. Wenn diese Phase abgeschlossen ist, müssen die verbleibenden Daten transformiert werden, damit die Metadatendefinitionen präzise sind. Auf diese Weise werden die Ergebnisse genau und aussagekräftig sein, wenn die Big Data mit traditionellen historischen Daten aus dem Lager kombiniert werden.

Der Big-Data-Integrations-Lynchpin

Dieser Prozess erfordert eine wohldefinierte Datenintegrationsstrategie. Während die Datenintegration ein entscheidendes Element bei der Verwaltung von Big Data ist, ist sie bei der Erstellung einer Hybridanalyse mit dem Data Warehouse gleichermaßen wichtig. Tatsächlich ist der Prozess des Extrahierens von Daten und des Transformierens in einer hybriden Umgebung sehr ähnlich wie die Ausführung dieses Prozesses in einem traditionellen Data Warehouse.

Im Data Warehouse werden Daten aus traditionellen Quellsystemen wie CRM- oder ERP-Systemen extrahiert. Es ist wichtig, dass Elemente aus diesen verschiedenen Systemen korrekt aufeinander abgestimmt sind.

Extrahieren, Umwandeln und Laden von Daten für Data Warehouses

Im Data Warehouse finden Sie häufig eine Kombination aus relationalen Datenbanktabellen, flachen Dateien und nicht relationalen Quellen. Ein gut konstruiertes Data Warehouse wird so strukturiert, dass die Daten in ein gemeinsames Format konvertiert werden, sodass Abfragen präzise und konsistent verarbeitet werden können. Die extrahierten Dateien müssen so transformiert werden, dass sie den Geschäftsregeln und -prozessen des Themenbereichs entsprechen, den das Data Warehouse analysieren soll.

Mit anderen Worten müssen die Daten aus den großen Datenquellen extrahiert werden, damit diese Quellen sicher zusammenarbeiten und aussagekräftige Ergebnisse liefern können. Darüber hinaus müssen die Quellen so transformiert werden, dass sie hilfreich bei der Analyse der Beziehung zwischen den historischen Daten und den dynamischeren und Echtzeitdaten sind, die aus Big Data-Quellen stammen.

Das Laden von Informationen in das Big Data-Modell unterscheidet sich von dem, was Sie in einem traditionellen Data Warehouse erwarten würden. Bei Data Warehouses ändert sich die Codierung nach der Codierung nie. Ein typisches Data Warehouse wird dem Unternehmen eine Momentaufnahme von Daten liefern, die auf der Notwendigkeit basieren, ein bestimmtes geschäftliches Problem zu analysieren, das überwacht werden muss, z. B. Inventar oder Vertrieb.

Die verteilte Struktur von Big Data führt Organisationen häufig dazu, zunächst Daten in eine Reihe von Knoten zu laden und dann die Extraktion und Transformation durchzuführen. Bei der Erstellung eines Hybrids aus dem traditionellen Data Warehouse und der Big Data-Umgebung kann die verteilte Natur der Big Data-Umgebung die Fähigkeit von Organisationen drastisch verändern, große Datenmengen im Zusammenhang mit dem Unternehmen zu analysieren.

Big Data Analysis und das Data Warehouse - Dummies

Die Wahl des Herausgebers

Web Marketing: Warum Suchmaschinen existieren - Dummies

Web Marketing: Warum Suchmaschinen existieren - Dummies

Wenn Sie verstehen, warum Suchmaschinen existieren, können sie für Sie in Ihrem Web-Marketing-Geschäft arbeiten. Also, hier ist eine kurze Lektion, warum Suchmaschinen existieren und wie Sie sie nutzen können, um Geld zu verdienen. Suchmaschinen liefern Relevanz. Relevanz bedeutet, dass Besucher auf Suchergebnisse klicken und zufrieden sind mit ...

Was sind Tür- und Informationsseiten? - dummies

Was sind Tür- und Informationsseiten? - dummies

Eine Doorway-Seite wird nur als Zugang von einer Suchmaschine zu Ihrer Website erstellt. Doorway-Seiten werden manchmal als Gateway-Seiten und Geisterseiten bezeichnet. Die Idee besteht darin, hoch optimierte Seiten zu erstellen, die von Suchmaschinen aufgenommen und indiziert werden und die mit etwas Glück gut ranken und somit den Traffic auf eine ...

Was ist eine Weiterleitung bei der Suchmaschinenoptimierung? - Dummies

Was ist eine Weiterleitung bei der Suchmaschinenoptimierung? - Dummies

Eine Weiterleitung ist das automatische Laden einer Seite ohne Benutzereingriff. Sie klicken auf einen Link, um eine Webseite in Ihren Browser zu laden, und innerhalb von Sekunden verschwindet die geladene Seite, und eine neue wird angezeigt. Designer erstellen häufig Seiten für Suchmaschinen - optimierte, schlüsselwortreiche Seiten -, die Besucher auf die ...

Die Wahl des Herausgebers

Behandeln Probleme mit dem Kundenservice über Social Media - Dummies

Behandeln Probleme mit dem Kundenservice über Social Media - Dummies

, Wenn Kunden wissen, dass sie direkt mit ein Geschäft in den sozialen Medien, können sie aus einer beliebigen Anzahl von Gründen mit ihnen in Verbindung treten. Aber sobald sie merken, dass ein Problem mit dem Kundenservice oder einer Produktfrage über einen einzigen Tweet oder Beitrag angesprochen werden kann, ist es wahrscheinlicher, dass sie mit dem Unternehmen Geschäfte machen.

Acht Möglichkeiten, Social Media Feedback zu erhalten - Dummies

Acht Möglichkeiten, Social Media Feedback zu erhalten - Dummies

Die heutige Technologie verändert die Art und Weise, wie wir Geschäfte machen blitzschnell. Auch der Social-Media-Handel bewegt sich blitzschnell, aber durch die Beobachtung von Erwähnungen und Fragen an die Community können Sie einen Eindruck davon bekommen, wie Ihr Markt über bevorstehende Veränderungen denkt. Auch andere Posts können Ihnen helfen, kritisches Feedback aus der Öffentlichkeit zusammenzustellen ...

Manage Social Media Commerce mit HootSuite - dummies

Manage Social Media Commerce mit HootSuite - dummies

HootSuite ist ein Social Media Management System zur Umsetzung von Outreach und Überwachung in sozialen Netzwerken über ein einziges webbasiertes Dashboard. Für Unternehmen wird HootSuite am häufigsten von Social-Media-Teams mit mehreren Agenten verwendet, aber auch viele Einzelanwender mögen es. Wenn Sie auf der Suche nach einer robusten Plattform sind, die alles an einem Ort hält, ...

Die Wahl des Herausgebers

Die 5 Kornsterne der Mittelmeer - Dummies

Die 5 Kornsterne der Mittelmeer - Dummies

Die Mittelmeerdiät ist in der Praxis des Habens begründet ein Vollkorn zu jeder Mahlzeit. Und nein, das bedeutet nicht, eine ganze Platte Vollkornspaghetti mit Fleischsauce zum Abendessen zu essen. Stattdessen machen die Menschen im Mittelmeerraum ihr Getreide zur Beilage oder schaffen durch die Zugabe von magerem Eiweiß mehr Gleichgewicht ...

Strebe nach Gesundheit mit 7 bis 10 Portionen Obst und Gemüse - Schnuller

Strebe nach Gesundheit mit 7 bis 10 Portionen Obst und Gemüse - Schnuller

Der Verzehr von sieben bis zehn Portionen Obst und Gemüse pro Tag, wie sie für die mediterrane Ernährung empfohlen werden, mag sehr viel erscheinen, aber es muss keine so große Herausforderung sein. Wenn Sie nicht die Früchte und das Gemüse lieben, die spezifisch mit der Mittelmeerdiät verbunden sind, ist das okay! Essen Sie jede Art von Obst oder Gemüse, die Sie ...

Die gesundheitlichen Vorteile von mediterranen Kräutern und Gewürzen - Dummies

Die gesundheitlichen Vorteile von mediterranen Kräutern und Gewürzen - Dummies

Sie haben vielleicht gedacht, dass der Oregano und Basilikum in Ihrer Spaghetti-Sauce lieferte nur einen deutlichen italienischen oder mediterranen Geschmack, aber diese kleinen Kräuter sind Pflanzen, was bedeutet, dass sie alle Arten von gesundheitlichen Vorteilen haben, die einen großen Einfluss auf Ihre allgemeine Gesundheit haben können. Einfache Gewürze wie Ingwer und Oregano enthalten Phytochemikalien, ...