Inhaltsverzeichnis:
Video: What is DC/OS and Mesos? 2024
Wie können Sie wissen, wie Sie alle Ihre Daten zusammenführen? Bei einem Big-Data-Projekt zeigt das, was Sie mit Ihren strukturierten und unstrukturierten Daten machen möchten, an, warum Sie sich für ein anderes als ein anderes entscheiden. Es bestimmt auch die Notwendigkeit, eingehende Datenstrukturen zu verstehen, um diese Daten an die richtige Stelle zu bringen.
Verwalten verschiedener Datentypen für Big Data
Sie müssen einige der Merkmale von Big Data und die Arten von Datenverwaltungssystemen berücksichtigen, die Sie für die Adressierung jeder einzelnen Person verwenden möchten.
Integrieren von Datentypen in eine Big Data-Umgebung
Ein weiterer wichtiger Aspekt von Big Data ist, dass Sie häufig nicht alle Daten besitzen müssen, die Sie verwenden werden. Viele Beispiele verdeutlichen dies. Sie können Social-Media-Daten, Daten aus Industrie-Statistiken von Drittanbietern oder sogar Daten von Satelliten nutzen. Denken Sie nur über soziale Medien nach und Sie werden es verstehen.
Oftmals wird es notwendig, verschiedene Quellen zu integrieren. Diese Daten können von allen internen Systemen kommen, sowohl von internen als auch externen Quellen oder von ganz externen Quellen. Ein Großteil dieser Daten wurde möglicherweise zuvor isoliert.
Daten müssen nicht in Echtzeit zu Ihnen kommen. Sie können nur eine Menge davon haben und es ist in der Natur disparat. Dies könnte sich immer noch als großes Datenproblem erweisen. Natürlich könnten Sie auch mit einem Szenario konfrontiert sein, in dem Sie riesige Datenmengen mit hohen Geschwindigkeiten sehen, und es ist in der Natur disparat.
Der Punkt ist, dass Sie den geschäftlichen Wert nicht erhalten, wenn Sie mit einer Vielzahl von Datenquellen als eine Gruppe von getrennten Silos von Informationen umgehen.
Zu den benötigten Komponenten gehören Connectors und Metadaten.
Konnektoren
Sie möchten einige Konnektoren haben, mit denen Sie Daten aus verschiedenen großen Datenquellen abrufen können. Vielleicht möchten Sie einen Twitter-Anschluss oder einen Facebook-Anschluss. Vielleicht müssen Sie von Ihrem Data Warehouse aus eine große Datenquelle integrieren, die außerhalb Ihrer Räumlichkeiten liegt, damit Sie beide Datenquellen gemeinsam analysieren können.
Metadaten
Eine wichtige Komponente für die Integration all dieser Daten sind die Metadaten. Metadaten sind die Definitionen, Zuordnungen und anderen Merkmale, die verwendet werden, um zu beschreiben, wie die Daten- (und Software-) Komponenten eines Unternehmens gefunden, darauf zugegriffen und verwendet werden. Ein Beispiel für Metadaten sind Daten über eine Kontonummer. Dazu können die Nummer, die Beschreibung, der Datentyp, der Name, die Adresse, die Telefonnummer und die Vertraulichkeitsstufe gehören.
Metadaten können verwendet werden, um Ihre Datenspeicher zu organisieren und mit neuen und sich ändernden Datenquellen umzugehen. Obwohl die Idee der Metadaten nicht neu ist, ändert und entwickelt sie sich im Kontext von Big Data.In der traditionellen Metadatenwelt ist es wichtig, einen Katalog zu haben, der eine einzige Ansicht aller Datenquellen bietet.
Dieser Katalog muss jedoch anders sein, wenn Sie nicht alle diese Datenquellen kontrollieren. Möglicherweise benötigen Sie ein Analysetool, mit dem Sie die zugrunde liegenden Metadaten besser verstehen können.
