Wie man die architektonische Grundlage für Big Data - Dummies

Es ist wichtig, eine starke architektonische Grundlage zu legen, wenn Sie mit Big Data erfolgreich sein wollen. Neben der Unterstützung der funktionalen Anforderungen ist es wichtig, die erforderliche Leistung zu unterstützen. Ihre Bedürfnisse hängen von der Art der Analyse ab, die Sie unterstützen. Sie benötigen die richtige Menge an Rechenleistung und Geschwindigkeit.

Ihre Architektur muss auch über die erforderliche Redundanz verfügen, damit Sie vor unerwarteten Latenzzeiten und Ausfallzeiten geschützt sind.

Beginnen Sie mit den folgenden Fragen:

Wie viele Daten muss Ihre Organisation heute und in Zukunft verwalten?
Wie oft muss Ihre Organisation Daten in Echtzeit oder nahezu in Echtzeit verwalten?
Wie viel Risiko kann sich Ihre Organisation leisten? Unterliegt Ihre Branche strengen Sicherheits-, Compliance- und Governance-Anforderungen?
Wie wichtig ist die Geschwindigkeit für Ihre Datenverwaltung?
Wie sicher oder genau müssen die Daten sein?

Schnittstellen und Feeds für Big Data

Um zu verstehen, wie Big Data in der realen Welt funktioniert, ist es wichtig, zunächst die Notwendigkeit von Schnittstellen und Feeds zu verstehen. In der Tat ist das, was große Datenmengen groß macht, die Tatsache, dass sie darauf angewiesen ist, viele Daten aus vielen Quellen aufzunehmen.

Offene Anwendungsprogrammierschnittstellen (APIs) sind daher der Kern jeder Big-Data-Architektur. Bedenken Sie außerdem, dass Schnittstellen auf jeder Ebene und zwischen jeder Schicht des Stapels vorhanden sind. Ohne Integrationsservices können keine Big Data passieren.

Redundante physische Big-Data-Infrastruktur

Die unterstützende physische Infrastruktur ist grundlegend für den Betrieb und die Skalierbarkeit einer Big-Data-Architektur. In der Tat wären Big Data ohne die Verfügbarkeit robuster physischer Infrastrukturen wahrscheinlich nicht als solch ein wichtiger Trend entstanden. Um eine unerwartete oder unvorhersehbare Datenmenge zu unterstützen, muss eine physische Infrastruktur für Big Data von der für herkömmliche Daten abweichen.

Die physische Infrastruktur basiert auf einem verteilten Rechenmodell. Dies bedeutet, dass Daten an vielen verschiedenen Orten physisch gespeichert und über Netzwerke, die Verwendung eines verteilten Dateisystems und verschiedene Big-Data-Analyse-Tools und -Anwendungen miteinander verknüpft werden können.

Redundanz ist wichtig, weil Sie mit so vielen Daten aus so vielen verschiedenen Quellen umgehen müssen. Redundanz kommt in vielen Formen vor. Wenn Ihr Unternehmen eine private Cloud erstellt hat, sollten Sie Redundanz in der privaten Umgebung erstellen, damit es sich skalieren lässt, um wechselnde Arbeitslasten zu unterstützen.

Wenn Ihr Unternehmen das interne IT-Wachstum reduzieren möchte, kann es externe Cloud-Services verwenden, um seine internen Ressourcen zu erweitern. In einigen Fällen kann diese Redundanz in Form eines SaaS-Angebots (Software as a Service) erfolgen, das es Unternehmen ermöglicht, anspruchsvolle Datenanalysen als Dienstleistung durchzuführen. Der SaaS-Ansatz bietet niedrigere Kosten, einen schnelleren Start und eine nahtlose Weiterentwicklung der zugrunde liegenden Technologie.

Big-Data-Sicherheitsinfrastruktur

Je wichtiger Big Data-Analysen für Unternehmen werden, desto wichtiger wird es sein, diese Daten zu sichern. Wenn Sie beispielsweise ein Gesundheitsunternehmen sind, werden Sie wahrscheinlich Big-Data-Anwendungen verwenden, um Veränderungen in der Demografie oder Verschiebungen bei den Patientenbedürfnissen festzustellen. Diese Daten über Ihre Mitglieder müssen geschützt werden, um Compliance-Anforderungen zu erfüllen und die Privatsphäre der Patienten zu schützen.

Sie müssen berücksichtigen, wer die Daten sehen darf und unter welchen Umständen sie dies tun dürfen. Sie müssen in der Lage sein, die Identität von Benutzern zu verifizieren und die Identität von Patienten zu schützen.

Betriebliche Big Data-Quellen

Es ist wichtig zu verstehen, dass Sie alle Datenquellen einbeziehen müssen, die Ihnen ein vollständiges Bild Ihres Unternehmens vermitteln und zeigen, wie die Daten die Art und Weise beeinflussen, wie Sie Ihr Unternehmen betreiben. Wenn sich die Welt ändert, ist es wichtig zu verstehen, dass Betriebsdaten jetzt eine breitere Palette von Datenquellen umfassen müssen, einschließlich unstrukturierter Quellen wie Social-Media-Daten in all ihren Formen.

Sie finden neue Ansätze für das Datenmanagement in der Big Data-Welt, einschließlich Architekturen für Dokumente, Grafiken, Spalten und Geodaten. Gemeinsam werden diese als NoSQL, oder nicht nur SQL-Datenbanken bezeichnet. Im Wesentlichen müssen Sie die Datenarchitekturen den Transaktionstypen zuordnen.

Dadurch wird sichergestellt, dass die rechten Daten verfügbar sind, wenn Sie sie benötigen. Sie benötigen außerdem Datenarchitekturen, die komplexe unstrukturierte Inhalte unterstützen. Sie müssen sowohl relationale Datenbanken als auch nicht relationale Datenbanken in Ihren Ansatz zur Nutzung von Big Data einbeziehen. Außerdem müssen unstrukturierte Datenquellen wie Content-Management-Systeme einbezogen werden, damit Sie dieser 360-Grad-Geschäftsansicht näher kommen können.

Alle diese Betriebsdatenquellen haben mehrere Merkmale gemeinsam:

Sie stellen aufgezeichnete Systeme dar, die die kritischen Daten erfassen, die für den täglichen Betrieb des Unternehmens in Echtzeit erforderlich sind.
Sie werden kontinuierlich auf der Grundlage von Transaktionen aktualisiert, die innerhalb von Geschäftseinheiten und aus dem Internet stattfinden.
Damit diese Quellen eine genaue Darstellung des Geschäfts liefern, müssen sie strukturierte und unstrukturierte Daten miteinander kombinieren.
Diese Systeme müssen auch skalierbar sein, um tausende von Benutzern konsistent zu unterstützen. Diese können transaktionale E-Commerce-Systeme, Kundenbeziehungsmanagementsysteme oder Call-Center-Anwendungen umfassen.