Zuhause Persönliche Finanzen Wie man Big Data Qualität priorisiert - Dummies

Wie man Big Data Qualität priorisiert - Dummies

Video: Achieving a 360-degree view of manufacturing via open source industrial data management 2025

Video: Achieving a 360-degree view of manufacturing via open source industrial data management 2025
Anonim

Die richtige Perspektive auf Datenqualität zu bekommen, kann in der Welt der Big Data sehr herausfordernd sein. Bei den meisten großen Datenquellen müssen Sie davon ausgehen, dass Sie mit Daten arbeiten, die nicht sauber sind. In der Tat ist die überwältigende Fülle von scheinbar zufälligen und unzusammenhängenden Daten in Streams von Social-Media-Daten eines der Dinge, die es für Unternehmen so nützlich machen.

Sie suchen zunächst Petabytes an Daten, ohne zu wissen, was Sie finden könnten, nachdem Sie nach Mustern in den Daten gesucht haben. Sie müssen die Tatsache akzeptieren, dass viel Lärm in den Daten vorhanden ist. Nur durch Suchen und Mustervergleich können Sie inmitten einiger sehr schmutziger Daten Funken der Wahrheit finden.

Natürlich haben einige große Datenquellen wie Daten von RFID-Tags oder -Sensoren besser festgelegte Regeln als Social-Media-Daten. Die Sensordaten sollten einigermaßen sauber sein, obwohl Sie erwarten können, dass einige Fehler gefunden werden. Es ist immer Ihre Verantwortung, wenn Sie riesige Datenmengen analysieren, um das Qualitätsniveau dieser Daten zu planen. Sie sollten einen zweiphasigen Ansatz zur Datenqualität befolgen:

Phase 1 : Suchen Sie nach Mustern in Big Data, ohne sich um die Datenqualität zu kümmern.

Phase 2: Nachdem Sie Ihre Muster gefunden und die für das Unternehmen wichtigen Ergebnisse festgelegt haben, wenden Sie die gleichen Datenqualitätsstandards an, die Sie auf Ihre traditionellen Datenquellen anwenden. Sie möchten das Sammeln und Verwalten von Big Data vermeiden, die für das Unternehmen nicht wichtig sind, und möglicherweise andere Datenelemente in Hadoop oder anderen Big Data-Plattformen beschädigen.

Wenn Sie beginnen, die Ergebnisse Ihrer Big-Data-Analyse in Ihren Geschäftsprozess zu integrieren, müssen Sie sich bewusst sein, dass qualitativ hochwertige Daten für ein Unternehmen unerlässlich sind, um fundierte Geschäftsentscheidungen treffen zu können. Dies gilt sowohl für Big Data als auch für traditionelle Daten.

Die Datenqualität bezieht sich auf Merkmale zu den Daten, einschließlich Konsistenz, Genauigkeit, Zuverlässigkeit, Vollständigkeit, Aktualität, Angemessenheit und Gültigkeit. Datenqualitätssoftware stellt sicher, dass Datenelemente in verschiedenen Datenspeichern oder Systemen auf die gleiche Weise dargestellt werden, um die Konsistenz der Daten zu erhöhen.

Zum Beispiel kann ein Datenspeicher zwei Zeilen für eine Kundenadresse verwenden und ein anderer Datenspeicher kann eine Zeile verwenden. Dieser Unterschied in der Darstellung der Daten kann zu ungenauen Informationen über Kunden führen, z. B. wenn ein Kunde als zwei verschiedene Kunden identifiziert wird.

Ein Unternehmen kann beim Kauf von Produkten Dutzende von Variationen seines Firmennamens verwenden.Datenqualitätssoftware kann verwendet werden, um alle Variationen des Firmennamens in Ihren verschiedenen Datenspeichern zu identifizieren und sicherzustellen, dass Sie alles wissen, was dieser Kunde von Ihrem Unternehmen kauft.

Dieser Prozess wird als bezeichnet und bietet eine einzelne Ansicht des Kunden oder des Produkts. Datenqualitätssoftware passt Daten über verschiedene Systeme hinweg an und bereinigt oder entfernt redundante Daten. Der Datenqualitätsprozess liefert dem Unternehmen Informationen, die einfacher zu verwenden, zu interpretieren und zu verstehen sind.

Im Datenqualitätsprozess werden Datenprofilerstellungs-Tools verwendet, um den Inhalt, die Struktur und den Zustand Ihrer Daten zu verstehen. Sie sammeln Informationen über die Merkmale der Daten in einer Datenbank oder einem anderen Datenspeicher, um mit dem Prozess der Umwandlung der Daten in eine vertrauenswürdigere Form zu beginnen. Die Tools analysieren die Daten, um Fehler und Inkonsistenzen zu identifizieren.

Sie können Anpassungen für diese Probleme vornehmen und Fehler korrigieren. Die Tools prüfen auf akzeptable Werte, Muster und Bereiche und helfen bei der Identifizierung überlappender Daten. Beim Data-Profiling-Prozess wird beispielsweise überprüft, ob die Daten als alphanumerisch oder numerisch erwartet werden. Die Tools prüfen auch auf Abhängigkeiten oder um zu sehen, wie sich die Daten auf Daten aus anderen Datenbanken beziehen.

Data-Profiling-Tools für Big Data haben eine ähnliche Funktion wie Data-Profiling-Tools für traditionelle Daten. Data-Profiling-Tools für Hadoop liefern Ihnen wichtige Informationen über die Daten in Hadoop-Clustern. Diese Tools können verwendet werden, um nach Übereinstimmungen zu suchen und Vervielfältigungen zu entfernen. Als Ergebnis können Sie sicherstellen, dass Ihre Big Data konsistent sind. Hadoop-Tools wie HiveQL und Pig Latin können für den Transformationsprozess verwendet werden.

Wie man Big Data Qualität priorisiert - Dummies

Die Wahl des Herausgebers

Web Marketing: Warum Suchmaschinen existieren - Dummies

Web Marketing: Warum Suchmaschinen existieren - Dummies

Wenn Sie verstehen, warum Suchmaschinen existieren, können sie für Sie in Ihrem Web-Marketing-Geschäft arbeiten. Also, hier ist eine kurze Lektion, warum Suchmaschinen existieren und wie Sie sie nutzen können, um Geld zu verdienen. Suchmaschinen liefern Relevanz. Relevanz bedeutet, dass Besucher auf Suchergebnisse klicken und zufrieden sind mit ...

Was sind Tür- und Informationsseiten? - dummies

Was sind Tür- und Informationsseiten? - dummies

Eine Doorway-Seite wird nur als Zugang von einer Suchmaschine zu Ihrer Website erstellt. Doorway-Seiten werden manchmal als Gateway-Seiten und Geisterseiten bezeichnet. Die Idee besteht darin, hoch optimierte Seiten zu erstellen, die von Suchmaschinen aufgenommen und indiziert werden und die mit etwas Glück gut ranken und somit den Traffic auf eine ...

Was ist eine Weiterleitung bei der Suchmaschinenoptimierung? - Dummies

Was ist eine Weiterleitung bei der Suchmaschinenoptimierung? - Dummies

Eine Weiterleitung ist das automatische Laden einer Seite ohne Benutzereingriff. Sie klicken auf einen Link, um eine Webseite in Ihren Browser zu laden, und innerhalb von Sekunden verschwindet die geladene Seite, und eine neue wird angezeigt. Designer erstellen häufig Seiten für Suchmaschinen - optimierte, schlüsselwortreiche Seiten -, die Besucher auf die ...

Die Wahl des Herausgebers

Behandeln Probleme mit dem Kundenservice über Social Media - Dummies

Behandeln Probleme mit dem Kundenservice über Social Media - Dummies

, Wenn Kunden wissen, dass sie direkt mit ein Geschäft in den sozialen Medien, können sie aus einer beliebigen Anzahl von Gründen mit ihnen in Verbindung treten. Aber sobald sie merken, dass ein Problem mit dem Kundenservice oder einer Produktfrage über einen einzigen Tweet oder Beitrag angesprochen werden kann, ist es wahrscheinlicher, dass sie mit dem Unternehmen Geschäfte machen.

Acht Möglichkeiten, Social Media Feedback zu erhalten - Dummies

Acht Möglichkeiten, Social Media Feedback zu erhalten - Dummies

Die heutige Technologie verändert die Art und Weise, wie wir Geschäfte machen blitzschnell. Auch der Social-Media-Handel bewegt sich blitzschnell, aber durch die Beobachtung von Erwähnungen und Fragen an die Community können Sie einen Eindruck davon bekommen, wie Ihr Markt über bevorstehende Veränderungen denkt. Auch andere Posts können Ihnen helfen, kritisches Feedback aus der Öffentlichkeit zusammenzustellen ...

Manage Social Media Commerce mit HootSuite - dummies

Manage Social Media Commerce mit HootSuite - dummies

HootSuite ist ein Social Media Management System zur Umsetzung von Outreach und Überwachung in sozialen Netzwerken über ein einziges webbasiertes Dashboard. Für Unternehmen wird HootSuite am häufigsten von Social-Media-Teams mit mehreren Agenten verwendet, aber auch viele Einzelanwender mögen es. Wenn Sie auf der Suche nach einer robusten Plattform sind, die alles an einem Ort hält, ...

Die Wahl des Herausgebers

Die 5 Kornsterne der Mittelmeer - Dummies

Die 5 Kornsterne der Mittelmeer - Dummies

Die Mittelmeerdiät ist in der Praxis des Habens begründet ein Vollkorn zu jeder Mahlzeit. Und nein, das bedeutet nicht, eine ganze Platte Vollkornspaghetti mit Fleischsauce zum Abendessen zu essen. Stattdessen machen die Menschen im Mittelmeerraum ihr Getreide zur Beilage oder schaffen durch die Zugabe von magerem Eiweiß mehr Gleichgewicht ...

Strebe nach Gesundheit mit 7 bis 10 Portionen Obst und Gemüse - Schnuller

Strebe nach Gesundheit mit 7 bis 10 Portionen Obst und Gemüse - Schnuller

Der Verzehr von sieben bis zehn Portionen Obst und Gemüse pro Tag, wie sie für die mediterrane Ernährung empfohlen werden, mag sehr viel erscheinen, aber es muss keine so große Herausforderung sein. Wenn Sie nicht die Früchte und das Gemüse lieben, die spezifisch mit der Mittelmeerdiät verbunden sind, ist das okay! Essen Sie jede Art von Obst oder Gemüse, die Sie ...

Die gesundheitlichen Vorteile von mediterranen Kräutern und Gewürzen - Dummies

Die gesundheitlichen Vorteile von mediterranen Kräutern und Gewürzen - Dummies

Sie haben vielleicht gedacht, dass der Oregano und Basilikum in Ihrer Spaghetti-Sauce lieferte nur einen deutlichen italienischen oder mediterranen Geschmack, aber diese kleinen Kräuter sind Pflanzen, was bedeutet, dass sie alle Arten von gesundheitlichen Vorteilen haben, die einen großen Einfluss auf Ihre allgemeine Gesundheit haben können. Einfache Gewürze wie Ingwer und Oregano enthalten Phytochemikalien, ...