Schicht 4 des Big Data Stack: Analytical Data Warehouses - Dummies

Das Data Warehouse, Schicht 4 des Big Data-Stacks, und sein Begleiter, der Data Mart, sind seit langem die primären Techniken, mit denen Organisationen Daten optimieren, um Entscheidungsträgern zu helfen. In der Regel enthalten Data Warehouses und Marts normalisierte Daten, die aus einer Vielzahl von Quellen gesammelt und zusammengestellt wurden, um die Analyse des Geschäfts zu erleichtern.

Data Warehouses und Marts vereinfachen die Erstellung von Berichten und die Visualisierung von unterschiedlichen Datenelementen. Sie werden im Allgemeinen aus relationalen Datenbanken, mehrdimensionalen Datenbanken, flachen Dateien und Objektdatenbanken erstellt - im Wesentlichen aus jeder Speicherarchitektur. In einer traditionellen Umgebung, in der die Leistung möglicherweise nicht die höchste Priorität hat, wird die Auswahl der zugrunde liegenden Technologie von den Anforderungen für die Analyse, Berichterstellung und Visualisierung der Unternehmensdaten bestimmt.

Da die Organisation der Daten und ihre Bereitschaft zur Analyse von zentraler Bedeutung sind, werden die meisten Data Warehouse-Implementierungen über die Batch-Verarbeitung aktuell gehalten. Das Problem ist, dass Batch-geladene Data Warehouses und Data Marts für viele Big Data-Anwendungen möglicherweise nicht ausreichen. Der Stress, der durch Hochgeschwindigkeitsdatenströme auferlegt wird, erfordert wahrscheinlich einen Echtzeit-Ansatz für große Data Warehouses.

Dies bedeutet nicht, dass Sie kein analytisches Data Warehouse oder Data Mart mit Batch-Prozessen erstellen und einspeisen werden. Stattdessen kann es vorkommen, dass Sie mehrere Data Warehouses oder Data Marts haben und die Performance und der Umfang die Zeitanforderungen der Analysten und Entscheidungsträger widerspiegeln.

Da viele Data Warehouses und Data Marts aus Daten bestehen, die aus verschiedenen Quellen innerhalb eines Unternehmens stammen, müssen auch die mit der Bereinigung und Normalisierung der Daten verbundenen Kosten berücksichtigt werden. Bei Big Data finden Sie einige wichtige Unterschiede:

• Herkömmliche Datenströme (aus Transaktionen, Anwendungen usw.) können sehr unterschiedliche Daten erzeugen.

• Es gibt auch Dutzende neuer Datenquellen, von denen jede ein gewisses Maß an Manipulation erfordert, bevor sie zeitnah und für das Unternehmen nützlich sein kann.

• Inhaltsquellen müssen ebenfalls bereinigt werden, und diese erfordern möglicherweise andere Techniken, als Sie mit strukturierten Daten verwenden könnten.

In der Vergangenheit wurden die Inhalte von Data Warehouses und Data Marts organisiert und an die für Strategie und Planung zuständigen Unternehmensleiter weitergeleitet. Mit Big Data nutzen neue Teams die Daten für die Entscheidungsfindung.

Viele Big-Data-Implementierungen bieten Echtzeitfähigkeiten, so dass Unternehmen in der Lage sein sollten, Inhalte bereitzustellen, die es Einzelpersonen mit operativen Rollen ermöglichen, Probleme wie Kundensupport, Verkaufschancen und Service-Ausfälle nahezu in Echtzeit anzugehen.Auf diese Weise können Big Data Aktionen vom Backoffice an das Front Office übertragen.

Bestehende Analysetools und -techniken sind sehr hilfreich, um Big Data zu verstehen. Es gibt jedoch einen Haken. Die Algorithmen, die Teil dieser Werkzeuge sind, müssen in der Lage sein, mit großen Mengen von potentiell Echtzeit- und disparaten Daten zu arbeiten. Die Infrastruktur muss vorhanden sein, um dies zu unterstützen.

Außerdem müssen Hersteller, die Analysetools bereitstellen, sicherstellen, dass ihre Algorithmen über verteilte Implementierungen hinweg funktionieren. Erwarten Sie aufgrund dieser Komplexität eine neue Klasse von Tools, um Big Data besser zu verstehen.

In dieser Schicht der Referenzarchitektur gibt es drei Klassen von Werkzeugen. Sie können unabhängig oder kollektiv von Entscheidungsträgern genutzt werden, um das Unternehmen zu steuern. Die drei Klassen von Tools lauten wie folgt:

• Reporting und Dashboards: Diese Tools bieten ein & ldquo; benutzerfreundlich & rdquo; Darstellung der Informationen aus verschiedenen Quellen. Obwohl dies ein wichtiger Bestandteil der traditionellen Datenwelt ist, entwickelt sich dieser Bereich immer noch für Big Data. Einige der Werkzeuge, die verwendet werden, sind traditionelle, die jetzt auf die neuen Arten von Datenbanken zugreifen können, die zusammen als NoSQL (nicht nur SQL) bezeichnet werden.

• Visualisierung: Diese Werkzeuge sind der nächste Schritt in der Entwicklung der Berichterstellung. Die Ausgabe ist in der Regel sehr interaktiv und dynamisch. Ein weiterer wichtiger Unterschied zwischen Berichten und visualisierten Ausgaben ist die Animation. Geschäftsanwender können die Änderungen in den Daten mithilfe verschiedener Visualisierungstechniken beobachten, darunter Mindmaps, Heatmaps, Infografiken und Verbindungsdiagramme. Reporting und Visualisierung finden am Ende der Geschäftstätigkeit statt.

• Analytics und erweiterte Analysen: Diese Tools greifen in das Data Warehouse ein und verarbeiten die Daten für den menschlichen Verzehr. Erweiterte Analysen sollten Trends oder Ereignisse erläutern, die transformativ, einzigartig oder revolutionär für bestehende Geschäftspraktiken sind. Predictive Analytics und Sentiment Analytics sind gute Beispiele für diese Wissenschaft.