Wie man das prädiktive Analysemodell testet - Dummies

Um das von Ihnen erstellte Vorhersagemodell testen zu können, müssen Sie Ihren Datensatz in zwei Gruppen unterteilen: Trainings- und Testdatensätze. Diese Datensätze sollten zufällig ausgewählt werden und sollten eine gute Repräsentation der tatsächlichen Population sein.

• Ähnliche Daten sollten sowohl für die Trainings- als auch für die Testdatensätze verwendet werden.

• Normalerweise ist der Trainingsdatensatz deutlich größer als der Testdatensatz.

• Die Verwendung des Testdatensatzes hilft Ihnen, Fehler wie Überanpassung zu vermeiden.

• Das trainierte Modell wird anhand von Testdaten ausgeführt, um zu sehen, wie gut das Modell funktioniert.

Einige Datenwissenschaftler ziehen es vor, einen dritten Datensatz zu haben, der ähnliche Eigenschaften wie die ersten beiden Daten aufweist: ein Validierungsdatensatz . Wenn Sie Ihre Testdaten aktiv zur Verfeinerung Ihres Modells verwenden, sollten Sie ein separates (drittes) Set verwenden, um die Genauigkeit des Modells zu überprüfen.

Mit einem Validierungsdatensatz, der nicht als Teil des Entwicklungsprozesses Ihres Modells verwendet wurde, wird eine neutrale Schätzung der Genauigkeit und Wirksamkeit des Modells sichergestellt.

Wenn Sie mehrere Modelle mit verschiedenen Algorithmen erstellt haben, kann Ihnen das Validierungsbeispiel auch dabei helfen zu beurteilen, welches Modell am besten abschneidet.

Stellen Sie sicher, dass Sie Ihre Arbeit überprüfen und das Modell testen. Seien Sie besonders skeptisch, wenn die Leistung oder Genauigkeit des Modells zu gut ist, um wahr zu sein. Fehler können dort auftreten, wo Sie sie am wenigsten erwarten. Falsch berechnete Daten für Zeitreihendaten können beispielsweise zu fehlerhaften Ergebnissen führen.

Verwendung der Kreuzvalidierung

Die Kreuzvalidierung ist eine beliebte Technik, mit der Sie Ihr Modell bewerten und validieren können. Hier gilt das gleiche Prinzip der Verwendung separater Datensätze zum Testen und Trainieren: Die Trainingsdaten werden zum Erstellen des Modells verwendet. Das Modell wird mit dem Testset ausgeführt, um Daten vorherzusagen, die es zuvor noch nicht gesehen hat. Dies ist eine Möglichkeit, die Genauigkeit zu bewerten.

Bei der Kreuzvalidierung werden die historischen Daten in X Untermengen unterteilt. Jedes Mal, wenn eine Teilmenge ausgewählt wird, um als Testdaten verwendet zu werden, werden die restlichen Teilmengen als Trainingsdaten verwendet. Dann wird beim nächsten Lauf der frühere Testsatz zu einem der Trainingssätze und einer der früheren Trainingssätze wird zum Testset.

Der Prozess wird fortgesetzt, bis jede Teilmenge dieser X-Anzahl von Sätzen als Testsatz verwendet wurde.

Stellen Sie sich zum Beispiel vor, Sie haben einen Datensatz, den Sie in 5 Sätze mit den Nummern 1 bis 5 unterteilt haben. Im ersten Durchgang verwenden Sie Satz 1 als Testsatz und verwenden die Sätze 2, 3, 4 und 5 als Trainingssatz…Dann verwenden Sie im zweiten Durchlauf Satz 2 als Testsatz und setzen 1, 3, 4 und 5 als Trainingssatz.

Sie fahren mit diesem Prozess fort, bis jede Teilmenge der 5 Sätze als Testsatz verwendet wurde.

Bei der Kreuzvalidierung können Sie jeden Datenpunkt in Ihren historischen Daten für Schulungen und Tests verwenden. Diese Technik ist effektiver, als nur Ihre historischen Daten in zwei Gruppen aufzuteilen, indem Sie das Set mit den meisten Daten für das Training verwenden, das andere Set zum Testen verwenden und es dabei belassen.

Wenn Sie Ihre Daten gegeneinander validieren, schützen Sie sich vor zufälliger Auswahl von Testdaten, die sich zu leicht vorhersagen lassen - was den falschen Eindruck vermittelt, dass Ihr Modell korrekt ist. Wenn Sie zufällig Testdaten auswählen, die zu schwer vorhersehbar sind, können Sie fälschlicherweise zu dem Schluss kommen, dass Ihr Modell nicht so funktioniert, wie Sie es sich erhofft hatten.

Kreuzvalidierung wird häufig verwendet, um nicht nur die Genauigkeit von Modellen zu überprüfen, sondern auch um die Leistung mehrerer Modelle zu vergleichen.

So balancieren Sie Bias und Varianz

Bias und Varianz sind zwei Fehlerquellen, die bei der Erstellung Ihres analytischen Modells auftreten können.

Bias ist das Ergebnis der Erstellung eines Modells, das die Darstellung der Beziehungen zwischen Datenpunkten in den historischen Daten, die zum Erstellen des Modells verwendet wurden, erheblich vereinfacht.

Varianz ist das Ergebnis der Erstellung eines Modells, das explizit für die zum Erstellen des Modells verwendeten Daten spezifisch ist.

Das Erreichen eines Gleichgewichts zwischen Verzerrung und Varianz - durch Verringerung der Varianz und Tolerieren einer Verzerrung - kann zu einem besseren Vorhersagemodell führen. Dieser Kompromiss führt gewöhnlich dazu, weniger komplexe Vorhersagemodelle zu erstellen.

Viele Data-Mining-Algorithmen wurden erstellt, um diesen Kompromiss zwischen Verzerrung und Varianz zu berücksichtigen.

Fehlerbehebung bei Ideen

Wenn Sie Ihr Modell testen und Sie feststellen, dass Sie nirgendwohin gehen, sollten Sie einige Ideen beachten, die Ihnen helfen können, wieder auf Kurs zu bleiben:

• Überprüfen Sie Ihre Arbeit immer. Sie haben vielleicht etwas übersehen, von dem Sie annahmen, dass es korrekt war, aber nicht. Solche Fehler können zum Beispiel unter den Werten einer prädiktiven Variablen in Ihrem Datensatz oder in der Vorverarbeitung angezeigt werden, die Sie auf die Daten angewendet haben.

• Wenn der gewählte Algorithmus keine Ergebnisse liefert, versuchen Sie es mit einem anderen Algorithmus. Zum Beispiel versuchen Sie mehrere Klassifizierungsalgorithmen zur Verfügung und abhängig von Ihren Daten und den Geschäftszielen Ihres Modells, kann einer von ihnen besser als die anderen ausführen.

• Versuchen Sie, verschiedene Variablen auszuwählen oder neue abgeleitete Variablen zu erstellen. Seien Sie immer auf der Suche nach Variablen mit Vorhersagekraft.

• Wenden Sie sich häufig an die Business-Domain-Experten, die Ihnen helfen können, die Daten zu verstehen, Variablen auszuwählen und die Ergebnisse des Modells zu interpretieren.