Die Schaffung von handhabbaren Big Data Strukturen - Dummies

Als die Datenverarbeitung in den kommerziellen Markt einstieg, wurden Daten in flachen Dateien gespeichert, die keine Struktur auferlegten. Big Data erfordert heute überschaubare Datenstrukturen. Wenn Unternehmen ein detailliertes Verständnis über Kunden erlangen mussten, mussten sie Brute-Force-Methoden anwenden, einschließlich sehr detaillierter Programmiermodelle, um einen gewissen Wert zu schaffen.

Später in den 1970er Jahren änderten sich die Dinge mit der Erfindung des relationalen Datenmodells und des relationalen Datenbankmanagementsystems (RDBMS), das eine Struktur und eine Methode zur Leistungsverbesserung auferlegte. Am wichtigsten ist, dass das relationale Modell einen Abstraktionsgrad hinzugefügt hat, so dass es für Programmierer einfacher war, die wachsenden Geschäftsanforderungen zu erfüllen, um Werte aus Daten zu extrahieren.

Das relationale Modell bot ein Ökosystem von Werkzeugen einer großen Anzahl aufstrebender Softwareunternehmen. Sie erfüllte den wachsenden Bedarf, Unternehmen dabei zu unterstützen, ihre Daten besser zu organisieren und Transaktionen von einer Region zur anderen zu vergleichen.

Darüber hinaus half es Unternehmensmanagern, die Informationen wie Bestände prüfen und mit Kundenbestellinformationen vergleichen zu können. Aus dieser explodierenden Nachfrage nach Antworten ergab sich jedoch ein Problem: Die Aufbewahrung dieser wachsenden Datenmenge war kostspielig und der Zugriff darauf war langsam. Was die Sache noch schlimmer machte, war die Tatsache, dass viele Daten dupliziert wurden und der tatsächliche Geschäftswert dieser Daten schwer zu messen war.

Als das Datenvolumen, das die Organisationen verwalten mussten, außer Kontrolle geriet, bot das Data Warehouse eine Lösung. Das Data Warehouse ermöglichte es der IT-Organisation, eine Untermenge der gespeicherten Daten auszuwählen, sodass es für das Unternehmen leichter war, Einblicke zu gewinnen.

Das Data Warehouse sollte Unternehmen dabei unterstützen, mit immer größeren Mengen an strukturierten Daten umzugehen, die sie analysieren mussten, indem sie das Volumen der Daten auf ein kleineres und auf einen bestimmten Geschäftsbereich konzentriertes Datenvolumen reduzieren. Es erfüllte die Notwendigkeit, betriebliche Entscheidungsunterstützung und Entscheidungsunterstützung zu trennen - aus Leistungsgründen.

In Lagern werden häufig Daten aus früheren Jahren gespeichert, um die organisatorische Leistung zu verstehen, Trends zu erkennen und Verhaltensmuster aufzudecken. Es stellte außerdem eine integrierte Informationsquelle aus verschiedenen Datenquellen bereit, die für die Analyse verwendet werden konnten. Heute können sowohl Content-Management-Systeme als auch Data-Warehouses die Vorteile der Skalierbarkeit von Hardware, Virtualisierungstechnologien und die Möglichkeit nutzen, integrierte Hard- und Softwaresysteme zu erstellen.

Manchmal waren diese Data Warehouses selbst zu komplex und groß und boten nicht die Geschwindigkeit und Agilität, die das Unternehmen benötigte. Die Antwort war eine weitere Verfeinerung der Daten, die über Data Marts verwaltet werden. Diese Data Marts konzentrierten sich auf bestimmte geschäftliche Probleme und unterstützten die Geschäftsanforderungen für schnelle Abfragen. Das Warehouse wurde entwickelt, um aufkommende Technologien wie integrierte Systeme und Datenanwendungen zu unterstützen.

Data Warehouses und Data Marts lösten viele Probleme für Unternehmen, die eine einheitliche Methode zur Verwaltung massiver Transaktionsdaten benötigen. Wenn es jedoch darum ging, große Mengen unstrukturierter oder halbstrukturierter Daten zu verwalten, konnte sich das Warehouse nicht genügend weiterentwickeln, um den sich ändernden Anforderungen gerecht zu werden.

Um die Angelegenheit zu komplizieren, werden Data Warehouses in der Regel in Batch-Intervallen, in der Regel wöchentlich oder täglich, gefüttert. Das ist gut für Planung, Finanzberichte und traditionelle Marketingkampagnen, aber zu langsam für zunehmend Echtzeit-Geschäfts- und Verbraucherumgebungen.

Wie könnten Unternehmen ihre traditionellen Datenmanagement-Ansätze umsetzen, um das wachsende Volumen unstrukturierter Datenelemente zu bewältigen? Die Lösung trat nicht über Nacht auf. Als Unternehmen begannen, unstrukturierte Daten zu speichern, fügten die Anbieter Fähigkeiten wie BLOBs (binary large objects) hinzu.

Im Wesentlichen würde ein unstrukturiertes Datenelement in einer relationalen Datenbank als ein zusammenhängender Datenblock gespeichert werden. Dieses Objekt könnte beschriftet sein, aber Sie konnten nicht sehen, was sich in diesem Objekt befand. Es war klar, dass dies nicht die sich ändernden Kunden- oder Geschäftsanforderungen lösen würde.

Geben Sie das Objektdatenbank-Verwaltungssystem (ODBMS) ein. Die Objektdatenbank hat das BLOB als adressierbaren Satz von Stücken gespeichert, so dass Sie sehen konnten, was sich dort befand. Anders als das BLOB, das eine unabhängige Einheit war, die an eine traditionelle relationale Datenbank angehängt war, bot die Objektdatenbank einen einheitlichen Ansatz für den Umgang mit unstrukturierten Daten.

Objektdatenbanken enthalten eine Programmiersprache und eine Struktur für die Datenelemente, so dass es einfacher ist, verschiedene Datenobjekte ohne Programmierung und komplexe Verknüpfungen zu manipulieren. Die Objektdatenbanken führten ein neues Innovationsniveau ein, das zur zweiten Welle des Datenmanagements führte.