Phase 3 des CRISP-DM-Prozessmodells: Datenvorbereitung - Dummies

Data Miner verbringen die meiste Zeit mit der dritten Phase des CRISP-DM-Prozessmodells (Cross-Industry Standard Process for Data Mining): Datenaufbereitung. Die meisten Daten, die für das Data Mining verwendet werden, wurden ursprünglich für andere Zwecke gesammelt und aufbewahrt und müssen noch weiter verfeinert werden, bevor sie für die Modellierung verwendet werden können.

Die Datenvorbereitungsphase umfasst fünf Aufgaben . Dies sind

• Auswählen von Daten

• Reinigungsdaten

• Konstruieren von Daten

• Integrieren von Daten

• Formatieren von Daten

Die Schritt-für-Schritt-Anleitung von CRISP-DM erwähnt Datensätze nicht explizit als Ergebnisse für jedes der Datenvorbereitungsaufgaben, aber diese Datensätze hätten besser existieren können und ordnungsgemäß archiviert und dokumentiert werden. Datensätze entsprechen nicht eins zu eins Aufgaben, aber Informationen zu den verwendeten Daten sollten in jedem lieferbaren Bericht enthalten sein.

Aufgabe: Auswählen von Daten

Jetzt entscheiden Sie, welcher Teil der Daten, die Sie haben, tatsächlich für Data Mining verwendet wird.

Das Ergebnis für diese Aufgabe ist die Begründung für Inklusion und Exklusion. Darin werden Sie erklären, welche Daten für weitere Data-Mining-Arbeiten verwendet werden und nicht werden.

Sie erläutern die Gründe für das Einschließen oder Ausschließen jedes Teils der Daten, die Sie haben, basierend auf Relevanz für Ihre Ziele, Datenqualität und technischen Problemen - wie zum Beispiel die Anzahl der Felder oder Zeilen, die Ihre Tools handhaben oder die Eignung der Datenformate für Ihre Bedürfnisse.

Aufgabe: Daten bereinigen

Es ist unwahrscheinlich, dass die Daten, die Sie ausgewählt haben, perfekt sauber (fehlerfrei) sind. Sie nehmen Änderungen vor, indem Sie beispielsweise nach Quellen suchen, um bestimmte Datenkorrekturen vorzunehmen, einige Fälle oder einzelne Zellen (Datenelemente) ausschließen oder einige Datenelemente durch Standardwerte oder Ersetzungen ersetzen, die durch eine ausgefeiltere Modellierungstechnik ausgewählt wurden. Sie können nur Teilmengen der Daten für alle oder einige Ihrer Data Mining-Arbeiten verwenden.

Das Ergebnis für diese Aufgabe ist der Datenbereinigungsbericht, in dem alle Entscheidungen und Maßnahmen zur Bereinigung Ihrer Daten detailliert dokumentiert werden. Dieser Bericht sollte sich auf jedes Datenqualitätsproblem beziehen, das in der Verifizierungsdatenqualitätsaufgabe in der Datenverständnisphase des Prozesses identifiziert wurde. In Ihrem Bericht sollten auch die potenziellen Auswirkungen auf die Ergebnisse der während der Datenbereinigung getroffenen Entscheidungen behandelt werden.

Aufgabe: Konstruieren von Daten

Möglicherweise müssen Sie einige neue Felder ableiten (z. B. das Lieferdatum und das Datum, an dem ein Kunde eine Bestellung aufgegeben hat, um zu berechnen, wie lange der Kunde auf eine Bestellung gewartet hat). oder erstellen Sie auf andere Weise eine neue Form von Daten.

Die Ergebnisse dieser Aufgabe umfassen zwei Berichte:

• Abgeleitete Attribute: Ein Bericht, der beschreibt, welche neuen Felder (Spalten) Sie erstellt haben, wie Sie dies getan haben und warum.

• Generierte Datensätze: Ein Bericht, der beschreibt, welche neuen Fälle (Zeilen) Sie erstellt haben, wie Sie dies getan haben und warum.

Obwohl die Zusammenführungsdaten- und Formatdaten-Tasks in dieser Phase des Prozesses zuletzt aufgelistet werden, sind sie nicht immer die letzten, und sie werden möglicherweise nicht einmal angezeigt. Möglicherweise müssen Sie frühzeitig in der Datenvorbereitungsphase zusammenführen oder neu formatieren.

Aufgabe: Integrieren von Daten

Ihre Daten können sich jetzt in mehreren unterschiedlichen Datensätzen befinden. Sie müssen einige oder alle dieser unterschiedlichen Datensätze zusammenführen, um für die Modellierungsphase bereit zu sein.

Das Ergebnis für diese Aufgabe sind die zusammengeführten Daten. (Und es würde nicht schaden zu dokumentieren, wie die Zusammenführung durchgeführt wurde.)

Aufgabe: Formatieren von Daten

Daten werden häufig in anderen Formaten als denjenigen angezeigt, die für die Modellierung am geeignetsten sind. (Formatänderungen werden normalerweise vom Design Ihrer Werkzeuge bestimmt.) Konvertieren Sie also diese Formate jetzt.

Das Ergebnis für diese Aufgabe sind Ihre neu formatierten Daten. (Und ein kleiner Bericht, der die von Ihnen vorgenommenen Änderungen beschreibt, wäre eine kluge Sache.)

Sie sollten die Datenvorbereitungsphase des Data-Mining-Prozesses mit einem zur Modellierung bereiten Datensatz und einem ausführlichen Bericht beenden, der den Datensatz beschreibt.