Vorbereiten der Daten für Predictive Analytics - Dummies

Wenn Sie die Ziele des Modells definiert haben, besteht der nächste Schritt in der Vorhersageanalyse darin, die Daten zu ermitteln und vorzubereiten, die Sie zum Erstellen Ihres Modells verwenden. Die folgenden Informationen betreffen die wichtigsten Aktivitäten. Die allgemeine Reihenfolge der Schritte sieht wie folgt aus:

1. Identifizieren Sie Ihre Datenquellen.

   Daten können in verschiedenen Formaten vorliegen oder sich an verschiedenen Orten befinden.

2. Identifizieren Sie, wie Sie auf diese Daten zugreifen werden.

   Manchmal müssen Sie Daten von Drittanbietern oder Daten von anderen Abteilungen in Ihrer Organisation usw. erwerben.

3. Überlegen Sie, welche Variablen in Ihre Analyse einbezogen werden sollen.

   Ein Standardansatz besteht darin, mit einer großen Bandbreite von Variablen zu beginnen und diejenigen zu eliminieren, die keinen prädiktiven Wert für das Modell bieten.

4. Bestimmen Sie, ob abgeleitete Variablen verwendet werden sollen.

   In vielen Fällen hätte eine abgeleitete Variable (wie z. B. das für die Analyse von Aktienkursen verwendete Preis-Leistungsverhältnis) eine größere direkte Auswirkung auf das Modell als die Rohvariable.

5. Informieren Sie sich über die Qualität Ihrer Daten, um deren Status und Einschränkungen zu verstehen.

   Die Genauigkeit der Vorhersagen des Modells hängt direkt mit den von Ihnen ausgewählten Variablen und der Qualität Ihrer Daten zusammen. Sie möchten an dieser Stelle einige datenbezogene Fragen beantworten:

   • Sind die Daten vollständig?
   • Hat es irgendwelche Ausreißer?
   • Müssen die Daten bereinigt werden?
   • Müssen Sie fehlende Werte ausfüllen, behalten, wie sie sind, oder sie ganz löschen?

Wenn Sie Ihre Daten und ihre Eigenschaften verstehen, können Sie den Algorithmus auswählen, der beim Erstellen Ihres Modells am nützlichsten ist. Zum Beispiel:

• Regressionsalgorithmen können verwendet werden, um Zeitreihendaten zu analysieren.
• Klassifikationsalgorithmen können verwendet werden, um diskrete Daten zu analysieren.
• Assoziationsalgorithmen können für Daten mit korrelierten Attributen verwendet werden.

Individuelle Algorithmen und prädiktive Techniken haben unterschiedliche Schwächen und Stärken. Am wichtigsten ist, dass die Genauigkeit des Modells auf einer großen Datenmenge und Datenqualität beruht. Ihre Daten sollten eine ausreichende Anzahl von Datensätzen enthalten, um statistisch aussagekräftige Ergebnisse zu liefern.

Das Sammeln relevanter Daten (vorzugsweise vieler Datensätze über einen langen Zeitraum), das Vorverarbeiten und das Extrahieren der Features mit den meisten voraussagenden Werten sind dort, wo Sie den Großteil Ihrer Zeit verbringen. Aber Sie müssen immer noch den Algorithmus klug wählen, ein Algorithmus, der für das Geschäftsproblem geeignet sein sollte.

Die Datenvorbereitung ist spezifisch für das Projekt, an dem Sie arbeiten, und den Algorithmus, den Sie verwenden möchten.Abhängig von den Projektanforderungen werden Sie Ihre Daten entsprechend vorbereiten und dem Algorithmus zuführen, während Sie Ihr Modell erstellen, um die Geschäftsanforderungen zu erfüllen.

Der zum Trainieren und Testen des Modells verwendete Datensatz muss relevante Geschäftsinformationen enthalten, um das Problem zu lösen, das Sie lösen möchten. Wenn es Ihr Ziel ist (zum Beispiel) zu bestimmen, welcher Kunde abwanderungsbereit ist, muss der Datensatz, den Sie auswählen, Informationen über Kunden enthalten, die in der Vergangenheit gewirkt haben, sowie Kunden, die dies nicht getan haben.

Einige Modelle, die erstellt wurden, um Daten zu gewinnen und die zugrundeliegenden Beziehungen zu verstehen - beispielsweise solche, die mit Clustering-Algorithmen erstellt wurden - müssen kein bestimmtes Endergebnis berücksichtigen.

Unterlegen

Unter Anpassung ist, wenn Ihr Modell keine Beziehungen in Ihren Daten erkennt. Dies ist normalerweise ein Hinweis darauf, dass wesentliche Variablen - solche mit Vorhersagekraft - nicht in Ihre Analyse einbezogen wurden.

Wenn die in Ihrem Modell verwendeten Variablen keine hohe Vorhersagekraft haben, fügen Sie neue domänenspezifische Variablen hinzu und führen Sie das Modell erneut aus. Das Endziel besteht darin, die Leistung des Modells auf den Trainingsdaten zu verbessern.

Ein weiteres Problem, auf das Sie achten sollten, ist Saisonalität (wenn Sie saisonale Muster haben, können Sie mehrere Jahreszeiten analysieren, wenn Sie Probleme bekommen.) Zum Beispiel eine Bestandsanalyse, die nur Daten eines Bullen enthält. Der Markt (in dem die Gesamtaktienkurse steigen) berücksichtigt keine Krisen oder Blasen, die größere Korrekturen an der Gesamtperformance der Aktien bewirken können. Wenn Daten nicht berücksichtigt werden, die sowohl Bull als auch Bärenmärkte umfassen (wenn die Gesamtaktienkurse fallen), bleibt das Modell von der bestmöglichen Portfolioauswahl abhängig.

Überanpassung

Überanpassung ist, wenn Ihr Modell Daten enthält, die keine Vorhersagekraft haben, aber nur für den Datensatz, den Sie analysieren, spezifisch ist. Rauschen - zufällige Variationen im Dataset - kann in das Modell einfließen, sodass das Ausführen des Modells in einem anderen Datensatz zu einem deutlichen Rückgang der Vorhersageleistung und -genauigkeit des Modells führt.