Wie man Data Streaming für Big Data nutzt - Dummies

Manchmal sind Unternehmen, wenn sie sich Big Data nähern, mit riesigen Datenmengen konfrontiert und wissen nicht, wo sie als Nächstes hingehen sollen. Datenstreaming eingeben Wenn eine große Menge an Daten schnell und nahezu in Echtzeit verarbeitet werden muss, um Erkenntnisse zu gewinnen, sind Daten in Bewegung in Form von Streaming-Daten die beste Antwort.

Was sind Daten, die nicht in Ruhe sind? Dies wären Systeme, die aktive Transaktionen verwalten und daher persistent sein müssen. In diesen Fällen werden die Daten in einem Betriebsdatenspeicher gespeichert. In anderen Situationen wurden diese Transaktionen jedoch ausgeführt, und es ist an der Zeit, diese Daten in der Regel in einem Data Warehouse oder Data Mart zu analysieren.

Dies bedeutet, dass die Informationen im Stapel und nicht in Echtzeit verarbeitet werden. Wenn Unternehmen ihre Zukunft planen, müssen sie in der Lage sein, viele Daten zu analysieren, von Informationen darüber, was Kunden kaufen und warum. Es ist wichtig, die führenden Indikatoren für Veränderungen zu verstehen. Mit anderen Worten, wie werden sich Änderungen auf die Produkte und Dienstleistungen auswirken, die ein Unternehmen in Zukunft anbieten wird?

Viele Forschungsorganisationen nutzen diese Art der Big Data-Analyse, um neue Medikamente zu finden. Eine Versicherungsgesellschaft möchte möglicherweise die Muster von Verkehrsunfällen in einem großen geografischen Gebiet mit Wetterstatistiken vergleichen. In diesen Fällen gibt es keinen Vorteil, diese Informationen in Echtzeit zu verwalten. Offensichtlich muss die Analyse schnell und praktisch sein. Darüber hinaus werden Unternehmen die Daten analysieren, um festzustellen, ob neue Muster entstehen.

Streaming-Daten sind eine auf die Geschwindigkeit konzentrierte Analyse-Plattform. Dies liegt daran, dass diese Anwendungen einen kontinuierlichen Strom von oft unstrukturierten Daten benötigen, um verarbeitet zu werden. Daher werden Daten kontinuierlich analysiert und im Speicher transformiert, bevor sie auf einer Festplatte gespeichert werden. Die Verarbeitung von Datenströmen erfolgt durch Verarbeitung von "Zeitfenstern" von Daten im Speicher über ein Cluster von Servern.

Dies ähnelt dem Ansatz bei der Verwaltung von ruhenden Daten unter Verwendung von Hadoop. Der Hauptunterschied ist das Problem der Geschwindigkeit. Im Hadoop-Cluster werden Daten im Batch-Modus erfasst und dann verarbeitet. Geschwindigkeit ist in Hadoop weniger wichtig als beim Datenstreaming. Einige Schlüsselprinzipien definieren, wann Streams am besten geeignet sind:

• Wenn es notwendig ist, eine Kaufgelegenheit am Verkaufsort zu bestimmen, entweder über Social Media oder über Permission Based Messaging

• Informationen über die Bewegung um ein Sichere Site

• Um auf ein Ereignis reagieren zu können, das eine sofortige Reaktion erfordert, z. B. einen Dienstausfall oder eine Änderung des medizinischen Zustands eines Patienten

• Echtzeit-Berechnung von Kosten, die von Variablen wie Nutzung und Verfügbare Ressourcen

Streaming-Daten sind nützlich, wenn Analysen in Echtzeit durchgeführt werden müssen, während sich die Daten in Bewegung befinden.In der Tat nimmt der Wert der Analyse (und oft der Daten) mit der Zeit ab. Wenn Sie zum Beispiel nicht sofort analysieren und handeln können, kann eine Verkaufsgelegenheit verloren gehen oder eine Bedrohung unentdeckt bleiben.

Das Folgende sind einige Beispiele, die erklären können, wie dies nützlich ist.

Ein Kraftwerk muss eine hochsichere Umgebung sein, damit nicht autorisierte Personen die Stromlieferung an die Kunden nicht behindern. Unternehmen platzieren häufig Sensoren um den Umfang einer Baustelle herum, um Bewegungen zu erkennen. Aber ein Problem könnte existieren. Ein riesiger Unterschied besteht zwischen einem Kaninchen, das um die Baustelle huscht, und einem Auto, das schnell und bewusst vorbeifährt. Daher muss die große Menge an Daten, die von diesen Sensoren kommen, in Echtzeit analysiert werden, sodass nur dann ein Alarm ausgelöst wird, wenn eine tatsächliche Bedrohung vorliegt.

Ein Telekommunikationsunternehmen in einem hart umkämpften Markt möge sicherstellen, dass Ausfälle sorgfältig überwacht werden, so dass ein erfasster Rückgang der Service-Level kann an der entsprechenden Gruppe eskaliert werden. Kommunikationssysteme erzeugen riesige Datenmengen, die in Echtzeit analysiert werden müssen, um geeignete Maßnahmen zu ergreifen. Eine Verzögerung beim Erkennen eines Fehlers kann die Kundenzufriedenheit ernsthaft beeinträchtigen.

Es ist unnötig zu erwähnen, dass Unternehmen mit sehr vielen Daten zu tun haben, die in Echtzeit verarbeitet und analysiert werden müssen. Daher ist die physische Umgebung, die diese Reaktionsfähigkeit unterstützt, von entscheidender Bedeutung. Streaming-Datenumgebungen erfordern normalerweise eine geclusterte Hardwarelösung, und manchmal ist ein massiv paralleler Verarbeitungsansatz erforderlich, um die Analyse zu handhaben.

Ein wichtiger Faktor bei der Streaming-Datenanalyse ist die Tatsache, dass es sich um eine Single-Pass-Analyse handelt. Mit anderen Worten, der Analytiker kann die Daten nach dem Streaming nicht erneut analysieren. Dies ist in Anwendungen üblich, in denen Sie nach der Abwesenheit von Daten suchen.

Wenn mehrere Durchgänge erforderlich sind, müssen die Daten in eine Art Lagerhaus gebracht werden, wo zusätzliche Analysen durchgeführt werden können. Zum Beispiel ist es oft notwendig, einen Kontext zu etablieren. Wie verhalten sich diese Streaming-Daten zu historischen Daten? Diese Korrelation kann Ihnen viel darüber erzählen, was sich geändert hat und was diese Änderung für Ihr Unternehmen bedeuten könnte.