Die Grenzen der Daten in Predictive Analytics - Dummies

Video: COMPUTERWOCHE Round Table: Predictive Analytics - wo Mehrwert noch an Grenzen stößt 2024

Wie bei vielen Aspekten eines Geschäftssystems sind Daten eine menschliche Schöpfung - daher ist es wahrscheinlich, dass die Benutzerfreundlichkeit eingeschränkt wird, wenn Sie zuerst erhalte es. Hier finden Sie eine Übersicht über einige Einschränkungen, denen Sie wahrscheinlich begegnen werden:

Die Daten können unvollständig sein. Fehlende Werte, selbst das Fehlen eines Abschnitts oder eines wesentlichen Teils der Daten, können die Benutzerfreundlichkeit einschränken.

Zum Beispiel können Ihre Daten nur eine oder zwei Bedingungen einer größeren Menge abdecken, die Sie modellieren möchten - wie bei einem Modell zur Analyse der Aktienmarkt-Performance nur Daten aus den letzten 5 Jahren verfügbar sind, die beide verzerrt die Daten und das Modell zur Annahme eines Bullenmarktes.

In dem Moment, in dem der Markt eine Korrektur erfährt, die zu einem Bärenmarkt führt, passt sich das Modell nicht an - einfach weil es nicht mit Daten, die einen Bärenmarkt darstellen, trainiert und getestet wurde.

Stellen Sie sicher, dass Sie sich einen Zeitrahmen ansehen, der Ihnen ein vollständiges Bild der natürlichen Schwankungen Ihrer Daten vermittelt. Ihre Daten sollten nicht durch Saisonalität beschränkt sein.
Wenn Sie Daten aus Umfragen verwenden, denken Sie daran, dass Personen nicht immer genaue Informationen bereitstellen. Nicht jeder wird wahrheitsgemäß beantworten, wie oft er trainiert - oder wie viele alkoholische Getränke er konsumiert - pro Woche. Die Leute mögen nicht so unehrlich sein wie selbstbewusst, aber die Daten sind immer noch verzerrt.
Daten aus verschiedenen Quellen können in Qualität und Format variieren. Daten, die aus so unterschiedlichen Quellen wie Umfragen, E-Mails, Dateneingabeformularen und der Unternehmenswebsite gesammelt werden, haben unterschiedliche Attribute und Strukturen. Daten aus verschiedenen Quellen haben möglicherweise keine große Kompatibilität zwischen Datenfeldern. Solche Daten erfordern eine umfangreiche Vorverarbeitung, bevor sie analysefähig ist. Die beigefügte Seitenleiste enthält ein Beispiel.

Daten aus mehreren Quellen können Unterschiede in der Formatierung, doppelte Datensätze und Inkonsistenzen in zusammengeführten Datenfeldern aufweisen. Erwarten Sie eine lange Zeit damit, diese Daten zu säubern - und die Zuverlässigkeit noch länger zu bestätigen.

Um die Einschränkungen Ihrer Daten zu bestimmen, gehen Sie folgendermaßen vor:

Überprüfen Sie alle Variablen, die Sie in Ihrem Modell verwenden.
Bewerten Sie den Umfang der Daten, insbesondere im Laufe der Zeit, damit Ihr Modell die Saisonalitätsfalle vermeiden kann.
Überprüfen Sie fehlende Werte, identifizieren Sie sie und bewerten Sie ihre Auswirkungen auf die Gesamtanalyse.
Achten Sie auf Extremwerte (Ausreißer) und entscheiden Sie, ob diese in die Analyse einbezogen werden sollen.
Bestätigen Sie, dass der Pool von Trainings- und Testdaten groß genug ist.
Stellen Sie sicher, dass Datentyp (Ganzzahlen, Dezimalwerte oder Zeichen usw.) korrekt ist, und legen Sie die obere und untere Grenze der möglichen Werte fest.
Achten Sie besonders auf die Datenintegration, wenn Ihre Daten aus mehreren Quellen stammen.

Stellen Sie sicher, dass Sie Ihre Datenquellen und deren Auswirkungen auf die Gesamtqualität Ihrer Daten verstehen.

Wählen Sie einen relevanten Datensatz aus, der für die gesamte Population repräsentativ ist.
Wählen Sie die richtigen Parameter für Ihre Analyse aus.

Lassen Sie sich auch nach all dieser Sorgfalt und Aufmerksamkeit nicht wundern, wenn Ihre Daten noch Vorverarbeitung benötigen, bevor Sie sie genau analysieren können. Die Vorverarbeitung dauert oft lange und ist mit erheblichem Aufwand verbunden, da mehrere Probleme im Zusammenhang mit den Originaldaten angegangen werden müssen. Dazu gehören: