Phase 2 des CRISP-DM-Prozessmodells: Datenverstehen - Dummies

In der zweiten Phase des CRISP-DM-Prozessmodells (Cross-Industry Standard Process for Data Mining) erhalten Sie Daten und überprüfen dass es für Ihre Bedürfnisse geeignet ist. Sie könnten Probleme identifizieren, die dazu führen, dass Sie zum Geschäftsverständnis zurückkehren und Ihren Plan überarbeiten. Vielleicht entdecken Sie sogar Schwachstellen in Ihrem Geschäftsverständnis, ein weiterer Grund, Ziele und Pläne zu überdenken.

Die Datenverständnisphase umfasst vier Aufgaben . Das sind

• Sammeln von Daten

• Beschreiben von Daten

• Untersuchen von Daten

• Überprüfen der Datenqualität

Aufgabe: Sammeln von Daten

Sie haben sich nur Ziele gesetzt und einen Data-Mining-Plan definiert… Jeder Schritt des Plans hängt von den richtigen Daten ab. Stellen Sie sicher, dass Sie wirklich diese Daten haben!

Für diese Aufgabe existiert nur ein Lieferschein: der anfängliche Datenerfassungsbericht. In Ihrem Bericht müssen Sie überprüfen, ob Sie die Daten erfasst haben oder zumindest Zugriff auf die Daten erhalten haben, den Datenzugriffsprozess getestet und überprüft haben, ob die Daten vorhanden sind. Sie müssen außerdem Daten in alle Tools laden, die Sie für das Data Mining verwenden, um zu überprüfen, ob die Tools mit den Daten kompatibel sind.

Sie können viel Arbeit tun, um die benötigten Daten zusammenzustellen, bevor Sie diesen Bericht schreiben können. Zuerst erstellen Sie Ihren Plan wie folgt:

• Datenanforderungen für Umrissdaten: Erstellen Sie eine Liste der Datentypen, die zur Adressierung der Data Mining-Ziele erforderlich sind. Erweitern Sie die Liste mit Details wie dem erforderlichen Zeitbereich und den Datenformaten.

• Überprüfen der Datenverfügbarkeit: Bestätigen Sie, dass die erforderlichen Daten vorhanden sind und dass Sie sie verwenden können. Wenn einige der gewünschten Daten nicht verfügbar sind, entscheiden Sie, wie Sie dieses Problem beheben möchten. Betrachten Sie Alternativen wie

  • Ersetzen durch eine alternative Datenquelle

  • Eingrenzen des Projektumfangs

  • Sammeln neuer Daten

• Definieren von Auswahlkriterien: Identifizieren der spezifischen Datenquellen (Datenbanken, Dateien, Dokumente, und so weiter.) Sie werden verwenden. Geben Sie innerhalb dieser Quellen die Tabellen, Felder und Fallbereiche an, die für dieses Projekt relevant sind.

Nachdem Sie diese Schritte ausgeführt haben, müssen Sie die Daten tatsächlich erhalten. Importieren Sie zu diesem Zeitpunkt die Daten in die Data-Mining-Plattform, die Sie für das Projekt verwenden, um zu bestätigen, dass dies möglich ist, und dass Sie den Prozess verstehen. Im Laufe dieser Testphase können Sie Software- (oder Hardware-) Einschränkungen entdecken, die Sie nicht vorhergesehen haben, z. B.

• Grenzwerte für die Anzahl der Fälle oder Felder oder die Größe des Speichers, den Sie verwenden dürfen

• Datenformate Ihrer Quellen

• Schwierigkeiten bei der Behandlung von Unvollkommenheiten in den Daten (z. B. können Produkte auftreten, die unvollständige Datensätze nicht importieren oder analysieren)

Schließlich fassen Sie den Erfassungsprozess in einem Bericht zusammen.Der Bericht sollte Ihre Anforderungen beschreiben und genau erläutern, welche Daten Sie aus welchen Quellen gesammelt haben. Hier bestätigen Sie, dass Sie die Daten tatsächlich erhalten haben und mit Ihrer Data-Mining-Plattform kompatibel sind. Wenn Sie in Schwierigkeiten geraten sind, werden Sie erklären, was sie waren und wie Sie sie angesprochen haben (alternative Quellen verwenden, Pläne überarbeiten, Formate ändern).

Das Ergebnis für diese Aufgabe ist nur ein einfacher Bericht, aber die Arbeit, die Sie erledigen müssen, bevor Sie diesen Bericht schreiben können, ist nicht einfach! Der Datenzugriff kann einer der schwierigsten und frustrierendsten Teile des Data-Mining-Prozesses sein, der sowohl technische als auch geschäftliche Herausforderungen mit sich bringt.

Aufgabe: Beschreiben von Daten

Nachdem Sie nun Daten haben, bereiten Sie eine allgemeine Beschreibung Ihrer Daten vor.

Das Ergebnis für diese Aufgabe ist der Datenbeschreibungsbericht. Darin beschreiben Sie die Quelle und die Formate der Daten, die Anzahl der Fälle, die Anzahl und Beschreibung der Felder und alle anderen allgemeinen Informationen, die wichtig sein können. Sie bewerten auch kurz die Eignung der Daten für Ihre Data-Mining-Ziele. Vergewissern Sie sich beispielsweise, dass die Daten die Felder enthalten, die Sie erwarten und für die Analyse ausreichen müssen.

Aufgabe: Daten untersuchen

In dieser Aufgabe untersuchen Sie die Daten genauer. Sie betrachten für jede Variable den Wertebereich und ihre Verteilungen. Sie verwenden einfache Datenmanipulation und grundlegende statistische Techniken für weitere Überprüfungen der Daten. Die Datenexploration unterstützt mehrere Zwecke:

• Machen Sie sich mit den Daten vertraut.

• Erkennen Sie Anzeichen von Datenqualitätsproblemen.

• Stellen Sie die Phase für die Datenvorbereitungsschritte ein.

Das Ergebnis für diese Aufgabe ist der Datenexplorationsbericht. Hier können Sie alle Hypothesen oder ersten Ergebnisse dokumentieren, die Sie während der Datenexploration entwickelt haben. Dieser Bericht sollte eine ausführlichere Beschreibung der Daten enthalten als der Datenbeschreibungsbericht, einschließlich Verteilungen, Zusammenfassungen und Anzeichen von Datenqualitätsproblemen.

Aufgabe: Überprüfen der Datenqualität

Sie haben die Daten und Sie haben sie untersucht. Jetzt müssen Sie feststellen, ob sie gut genug sind, um Ihre Ziele zu unterstützen. Sie werden oft ein Qualitätsproblem haben, das es zu bewältigen gilt, und dennoch in der Lage sein, sich vorwärts zu bewegen, aber manchmal ist die Datenqualität so schlecht, dass sie Ihren Plan nicht unterstützen kann und Sie nach Alternativen suchen müssen. Einige der schlimmsten Datenprobleme wären

• Die Daten, die Sie benötigen, sind nicht vorhanden. (Gab es es nie, oder wurde es verworfen? Können diese Daten gesammelt und für zukünftige Verwendung gespeichert werden?)

• Es existiert, aber Sie können es nicht haben. (Kann diese Einschränkung überwunden werden?)

• Sie finden schwerwiegende Datenqualitätsprobleme (viele fehlende oder falsche Werte, die nicht korrigiert werden können).

Das Ergebnis für diese Aufgabe ist der Datenqualitätsbericht. Hier finden Sie eine Zusammenfassung der von Ihnen gefundenen Daten, von Ihnen gefundene kleinere und größere Qualitätsprobleme sowie mögliche Abhilfemaßnahmen für Qualitätsprobleme oder -alternativen (z. B. die Verwendung einer alternativen Datenressource).Wenn Sie mit ernsthaften Datenqualitätsproblemen konfrontiert sind und keine adäquate Lösung finden können, müssen Sie möglicherweise die Überarbeitung von Zielen oder Plänen empfehlen.