Video: Achieving a 360-degree view of manufacturing via open source industrial data management 2024
Die richtige Perspektive auf Datenqualität zu bekommen, kann in der Welt der Big Data sehr herausfordernd sein. Bei den meisten großen Datenquellen müssen Sie davon ausgehen, dass Sie mit Daten arbeiten, die nicht sauber sind. In der Tat ist die überwältigende Fülle von scheinbar zufälligen und unzusammenhängenden Daten in Streams von Social-Media-Daten eines der Dinge, die es für Unternehmen so nützlich machen.
Sie suchen zunächst Petabytes an Daten, ohne zu wissen, was Sie finden könnten, nachdem Sie nach Mustern in den Daten gesucht haben. Sie müssen die Tatsache akzeptieren, dass viel Lärm in den Daten vorhanden ist. Nur durch Suchen und Mustervergleich können Sie inmitten einiger sehr schmutziger Daten Funken der Wahrheit finden.
Natürlich haben einige große Datenquellen wie Daten von RFID-Tags oder -Sensoren besser festgelegte Regeln als Social-Media-Daten. Die Sensordaten sollten einigermaßen sauber sein, obwohl Sie erwarten können, dass einige Fehler gefunden werden. Es ist immer Ihre Verantwortung, wenn Sie riesige Datenmengen analysieren, um das Qualitätsniveau dieser Daten zu planen. Sie sollten einen zweiphasigen Ansatz zur Datenqualität befolgen:
Phase 1 : Suchen Sie nach Mustern in Big Data, ohne sich um die Datenqualität zu kümmern.
Phase 2: Nachdem Sie Ihre Muster gefunden und die für das Unternehmen wichtigen Ergebnisse festgelegt haben, wenden Sie die gleichen Datenqualitätsstandards an, die Sie auf Ihre traditionellen Datenquellen anwenden. Sie möchten das Sammeln und Verwalten von Big Data vermeiden, die für das Unternehmen nicht wichtig sind, und möglicherweise andere Datenelemente in Hadoop oder anderen Big Data-Plattformen beschädigen.
Wenn Sie beginnen, die Ergebnisse Ihrer Big-Data-Analyse in Ihren Geschäftsprozess zu integrieren, müssen Sie sich bewusst sein, dass qualitativ hochwertige Daten für ein Unternehmen unerlässlich sind, um fundierte Geschäftsentscheidungen treffen zu können. Dies gilt sowohl für Big Data als auch für traditionelle Daten.
Die Datenqualität bezieht sich auf Merkmale zu den Daten, einschließlich Konsistenz, Genauigkeit, Zuverlässigkeit, Vollständigkeit, Aktualität, Angemessenheit und Gültigkeit. Datenqualitätssoftware stellt sicher, dass Datenelemente in verschiedenen Datenspeichern oder Systemen auf die gleiche Weise dargestellt werden, um die Konsistenz der Daten zu erhöhen.
Zum Beispiel kann ein Datenspeicher zwei Zeilen für eine Kundenadresse verwenden und ein anderer Datenspeicher kann eine Zeile verwenden. Dieser Unterschied in der Darstellung der Daten kann zu ungenauen Informationen über Kunden führen, z. B. wenn ein Kunde als zwei verschiedene Kunden identifiziert wird.
Ein Unternehmen kann beim Kauf von Produkten Dutzende von Variationen seines Firmennamens verwenden.Datenqualitätssoftware kann verwendet werden, um alle Variationen des Firmennamens in Ihren verschiedenen Datenspeichern zu identifizieren und sicherzustellen, dass Sie alles wissen, was dieser Kunde von Ihrem Unternehmen kauft.
Dieser Prozess wird als bezeichnet und bietet eine einzelne Ansicht des Kunden oder des Produkts. Datenqualitätssoftware passt Daten über verschiedene Systeme hinweg an und bereinigt oder entfernt redundante Daten. Der Datenqualitätsprozess liefert dem Unternehmen Informationen, die einfacher zu verwenden, zu interpretieren und zu verstehen sind.
Im Datenqualitätsprozess werden Datenprofilerstellungs-Tools verwendet, um den Inhalt, die Struktur und den Zustand Ihrer Daten zu verstehen. Sie sammeln Informationen über die Merkmale der Daten in einer Datenbank oder einem anderen Datenspeicher, um mit dem Prozess der Umwandlung der Daten in eine vertrauenswürdigere Form zu beginnen. Die Tools analysieren die Daten, um Fehler und Inkonsistenzen zu identifizieren.
Sie können Anpassungen für diese Probleme vornehmen und Fehler korrigieren. Die Tools prüfen auf akzeptable Werte, Muster und Bereiche und helfen bei der Identifizierung überlappender Daten. Beim Data-Profiling-Prozess wird beispielsweise überprüft, ob die Daten als alphanumerisch oder numerisch erwartet werden. Die Tools prüfen auch auf Abhängigkeiten oder um zu sehen, wie sich die Daten auf Daten aus anderen Datenbanken beziehen.
Data-Profiling-Tools für Big Data haben eine ähnliche Funktion wie Data-Profiling-Tools für traditionelle Daten. Data-Profiling-Tools für Hadoop liefern Ihnen wichtige Informationen über die Daten in Hadoop-Clustern. Diese Tools können verwendet werden, um nach Übereinstimmungen zu suchen und Vervielfältigungen zu entfernen. Als Ergebnis können Sie sicherstellen, dass Ihre Big Data konsistent sind. Hadoop-Tools wie HiveQL und Pig Latin können für den Transformationsprozess verwendet werden.
