Merkmale eines Big Data Analysis Frameworks - Dummies

Obwohl immer noch neue Tools verfügbar sind, mit denen Sie Ihr Big Data-Framework effektiver verwalten und analysieren können, sind Sie möglicherweise nicht in der Lage, das zu erhalten, was Sie benötigen. Darüber hinaus können eine Reihe von Technologien Big-Data-Analysen und Anforderungen wie Verfügbarkeit, Skalierbarkeit und hohe Leistung unterstützen. Einige davon umfassen Big-Data-Appliances, Spalten-Datenbanken, In-Memory-Datenbanken, nicht relationale Datenbanken und massiv parallele Verarbeitungs-Engines.

Also, was suchen Geschäftsanwender, wenn es um Big Data-Analysen geht? Die Antwort auf diese Frage hängt von der Art des Geschäftsproblems ab, das sie zu lösen versuchen. Einige wichtige Überlegungen bei der Auswahl eines Big-Data-Anwendungsanalyse-Frameworks sind:

• Unterstützung für mehrere Datentypen: Viele Organisationen integrieren oder erwarten, dass sie alle Arten von Daten als Teil ihrer Big-Data-Bereitstellungen einbinden. einschließlich strukturierter, halbstrukturierter und unstrukturierter Daten.

• Behandlung von Batch-Verarbeitung und / oder Echtzeit-Datenströmen: Die Aktionsorientierung ist ein Produkt der Analyse von Echtzeit-Datenströmen, während die Entscheidungsorientierung durch Batch-Verarbeitung adäquat bedient werden kann. Einige Benutzer benötigen beides, da sie unterschiedliche Analysearten enthalten.

• Nutzen Sie das, was bereits in Ihrer Umgebung vorhanden ist: Um den richtigen Kontext zu erhalten, kann es wichtig sein, vorhandene Daten und Algorithmen im Big Data Analysis Framework zu nutzen.

• Unterstützung von NoSQL und anderen neueren Formen des Datenzugriffs: Während Organisationen weiterhin SQL verwenden, suchen viele auch nach neueren Formen des Datenzugriffs, um schnellere Antwortzeiten oder schnellere Entscheidungszeiten zu unterstützen…

• Überwindung geringer Latenzzeiten: Wenn Sie mit hoher Datengeschwindigkeit zu kämpfen haben, benötigen Sie ein Framework, das die Anforderungen an Geschwindigkeit und Leistung unterstützt.

• Bereitstellung von billigem Speicher: Big Data bedeutet potenziell viel Speicher - je nachdem, wie viele Daten Sie verarbeiten und / oder aufbewahren möchten.

• Integration in Cloud-Bereitstellungen: Die Cloud kann bei Bedarf Speicher- und Rechenkapazität bereitstellen. Immer mehr Unternehmen nutzen die Cloud als Analyse-Sandbox. "Die Cloud wird zunehmend zu einem wichtigen Implementierungsmodell, um bestehende Systeme in Cloud-Implementierungen in ein Hybridmodell zu integrieren.

Während all diese Eigenschaften wichtig sind, ist der wahrgenommene und tatsächliche Wert der Erstellung von Anwendungen aus einem Framework schneller für die Bereitstellung.Berücksichtigen Sie bei all diesen Funktionen ein Big Data Analysis Application Framework von einer Firma namens Continuity.

Das Continuity AppFabric ist ein Framework, das die Entwicklung und Bereitstellung von Big Data-Anwendungen unterstützt. Das AppFabric selbst ist eine Reihe von Technologien, die speziell entwickelt wurden, um die Launen von Big-Data-Technologien auf niedriger Ebene zu abstrahieren. Der Anwendungsgenerator ist ein Eclipse-Plug-In, das es dem Entwickler ermöglicht, lokal und in vertrauter Umgebung zu erstellen, zu testen und zu debuggen.

AppFabric-Funktionen umfassen Folgendes:

• Stream-Unterstützung für Echtzeitanalyse und -reaktion

• Unified API, so dass keine Schreibzugriffe auf große Dateninfrastrukturen erforderlich sind

• Abfrageschnittstellen für einfache Ergebnisse und Unterstützung für steckbare Abfrageprozessoren

• Datensätze, die abfragbare Daten und Tabellen repräsentieren, auf die von der Unified API zugegriffen werden kann

• Lesen und Schreiben von Daten unabhängig von Eingabe- oder Ausgabeformaten oder zugrundeliegenden Komponentenspezifika

• Transaktionsbasierte Ereignisverarbeitung

• Multimodale Bereitstellung auf einem einzelnen Knoten oder die Cloud

Dieser Ansatz wird vor allem wegen der Fülle an Tools und Technologien, die zur Erstellung einer Big-Data-Umgebung erforderlich sind, für die Big-Data-Anwendungsentwicklung an Bedeutung gewinnen.

Ein Mangel an Zusammenarbeit kann in vielerlei Hinsicht kostspielig sein. Große Organisationen können von Tools profitieren, die die Zusammenarbeit fördern. Sehr oft sind sich Menschen, die ähnliche Arbeit verrichten, nicht bewusst, was die Bemühungen der anderen zu Doppelarbeit führen.

Ein weiteres gutes Beispiel für ein Anwendungsframework ist OpenChorus. Neben der schnellen Entwicklung von Big-Data-Analyse-Anwendungen unterstützt es auch die Zusammenarbeit und bietet viele weitere Funktionen, die Software-Entwicklern wichtig sind, wie Werkzeugintegration, Versionskontrolle und Konfigurationsmanagement.

Open Chorus ist ein Projekt der EMC Corporation und steht unter der Apache 2.0-Lizenz zur Verfügung. EMC produziert und unterstützt auch eine kommerzielle Version von Chorus. Sowohl Open Chorus als auch Chorus haben lebendige Partnernetzwerke sowie eine große Anzahl von Einzelpersonen und Unternehmen.

Open Chorus ist ein generisches Framework. Seine führende Eigenschaft ist die Fähigkeit, einen gemeinsamen "Hub" für die gemeinsame Nutzung großer Datenquellen, Erkenntnisse, Analysetechniken und Visualisierungen zu schaffen. Open Chorus bietet Folgendes:

• Repository von Analysetools, Artefakten und Techniken mit vollständiger Versionierung, Änderungsverfolgung und Archivierung

• Arbeitsbereiche und Sandboxen, die von Community-Mitgliedern selbst bereitgestellt und einfach verwaltet werden

• Visualisierungen, einschließlich Heatmaps, Zeitreihen, Histogramme usw.

• Föderierte Suche nach allen und allen Datenbeständen, einschließlich Hadoop, Metadaten, SQL-Repositorys und Kommentaren

• Zusammenarbeit durch Social-Networking-ähnliche Funktionen, die das Entdecken, Teilen und Brainstorming fördern

• Erweiterbarkeit für die Integration von Komponenten und Technologien von Drittanbietern