Big Data Workflows - Dummies

Um Big Data-Workflows zu verstehen, müssen Sie verstehen, was ein Prozess ist und wie er sich auf den Workflow in datenintensiven Umgebungen bezieht. Prozesse werden tendenziell als hochgradige End-to-End-Strukturen entworfen, die für die Entscheidungsfindung nützlich sind und die Art und Weise, wie Dinge in einem Unternehmen oder einer Organisation erledigt werden, normalisieren.

Im Gegensatz dazu sind Workflows aufgabenorientiert und erfordern oft spezifischere Daten als Prozesse. Prozesse bestehen aus einem oder mehreren Workflows, die für das Gesamtziel des Prozesses relevant sind.

In vielerlei Hinsicht ähneln Big-Data-Workflows den Standard-Workflows. Tatsächlich sind in jedem Workflow Daten in den verschiedenen Phasen erforderlich, um die Aufgaben auszuführen. Betrachten Sie den Workflow in einer Gesundheitssituation.

Ein elementarer Arbeitsablauf ist der Prozess des "Blutentziehens". "Das Entnehmen von Blut ist eine notwendige Aufgabe, um den gesamten diagnostischen Prozess abzuschließen. Wenn etwas passiert und Blut nicht entnommen wurde oder die Daten aus diesem Bluttest verloren gegangen sind, wirkt sich dies direkt auf die Richtigkeit oder Wahrhaftigkeit der gesamten Aktivität aus.

Was passiert, wenn Sie einen Workflow einführen, der von einer großen Datenquelle abhängt? Obwohl Sie möglicherweise vorhandene Workflows verwenden können, können Sie nicht davon ausgehen, dass ein Prozess oder Workflow ordnungsgemäß funktioniert, indem Sie einfach eine große Datenquelle für eine Standardquelle ersetzen. Dies funktioniert möglicherweise nicht, da Standard-Datenverarbeitungsmethoden nicht über die Verarbeitungsansätze oder -leistung verfügen, um die Komplexität der Big Data zu bewältigen.

Das Gesundheitsbeispiel konzentriert sich auf die Notwendigkeit, eine Analyse durchzuführen, nachdem das Blut dem Patienten entnommen wurde. Im Standarddaten-Workflow wird das Blut typisiert und dann werden bestimmte chemische Tests auf der Grundlage der Anforderungen des medizinischen Fachpersonals durchgeführt.

Es ist unwahrscheinlich, dass dieser Arbeitsablauf die für die Identifizierung spezifischer Biomarker oder genetischer Mutationen erforderlichen Tests versteht. Wenn Sie große Datenquellen für Biomarker und Mutationen bereitgestellt hätten, wäre der Workflow fehlgeschlagen. Es ist nicht Big Data bewusst und muss geändert oder neu geschrieben werden, um Big Data zu unterstützen.

Die beste Vorgehensweise zum Verstehen von Arbeitsabläufen und der Wirkung von Big Data ist Folgendes:

• Identifizieren Sie die Big Data-Quellen, die Sie verwenden müssen.

• Ordnen Sie die großen Datentypen Ihren Workflow-Datentypen zu.

• Stellen Sie sicher, dass Sie über Verarbeitungsgeschwindigkeit und Speicherzugriff verfügen, um Ihren Workflow zu unterstützen.

• Wählen Sie den Datenspeicher aus, der für die Datentypen am besten geeignet ist.

• Ändern Sie den vorhandenen Workflow, um Big Data aufzunehmen oder einen neuen Big Data-Workflow zu erstellen.

Nachdem Sie Ihre Big-Data-Workflows erstellt haben, müssen Sie diese feinabstimmen, damit sie Ihre Analyse nicht überfordern oder verunreinigen.Beispielsweise enthalten viele große Datenquellen keine genau definierten Datendefinitionen und Metadaten über die Elemente dieser Quellen. Manchmal wurden diese Datenquellen nicht bereinigt. Sie müssen sicherstellen, dass Sie das richtige Wissen über die Quellen haben, die Sie verwenden werden.