So ​​generieren Sie abgeleitete Daten und reduzieren ihre Dimensionalität für Predictive Analytics - Dummies

In dieser Erkundungsphase der Vorhersageanalyse erlangen Sie genaue Kenntnisse über Ihre Daten - was wiederum hilft, die relevanten Variablen für die Analyse auszuwählen. Dieses Verständnis hilft Ihnen auch, die Ergebnisse Ihres Modells zu bewerten. Aber zuerst müssen Sie die Daten für die Analyse identifizieren und bereinigen.

So erstellen Sie abgeleitete Daten

Abgeleitete Attribute sind völlig neue Datensätze, die aus einem oder mehreren vorhandenen Attributen erstellt wurden. Ein Beispiel wäre die Erstellung von Aufzeichnungen über Bücher, die auf Buchmessen Bestseller sind. Rohdaten erfassen solche Datensätze möglicherweise nicht - für Modellierungszwecke können diese abgeleiteten Datensätze jedoch wichtig sein. Das Preis-pro-Gewinn-Verhältnis und der gleitende 200-Tage-Durchschnitt sind zwei Beispiele für abgeleitete Daten, die in Finanzanwendungen stark genutzt werden.

Abgeleitete Attribute können aus einfachen Berechnungen wie dem Ableiten des Alters ab dem Geburtsdatum gewonnen werden. Abgeleitete Attribute können auch durch Zusammenfassen von Informationen aus mehreren Datensätzen berechnet werden.

Wenn Sie zum Beispiel eine Tabelle mit Kunden und ihren gekauften Büchern in eine Tabelle umwandeln, können Sie die Anzahl der verkauften Bücher über ein Empfehlungssystem, durch gezieltes Marketing und auf einer Buchmesse verfolgen und die demografischen Daten der Kunden identifizieren. kaufte diese Bücher.

Die Generierung solcher zusätzlicher Attribute bringt zusätzliche Vorhersagekraft in die Analyse ein. In der Tat werden viele solcher Attribute erzeugt, um ihre potentielle Vorhersagekraft zu untersuchen. Einige Vorhersagemodelle verwenden möglicherweise mehr abgeleitete Attribute als die Attribute in ihrem Rohzustand. Wenn sich einige abgeleitete Attribute als besonders prädiktiv erweisen und ihre Leistung sich als relevant erweist, ist es sinnvoll, den Prozess zu automatisieren, der sie generiert.

Abgeleitete Datensätze sind neue Datensätze, die neue Informationen einbringen und neue Möglichkeiten zur Darstellung von Rohdaten bieten. Sie können für die Vorhersagemodellierung von enormem Wert sein.

So reduzieren Sie die Dimensionalität Ihrer Daten

Die in Vorhersagemodellen verwendeten Daten werden normalerweise aus mehreren Quellen zusammengestellt. Ihre Analyse kann aus Daten bestehen, die über mehrere Datenformate, Dateien und Datenbanken oder mehrere Tabellen innerhalb derselben Datenbank verstreut sind. Es ist wichtig, die Daten zusammenzuführen und in ein integriertes Format für die Datenmodellierer zu kombinieren.

Wenn Ihre Daten einen hierarchischen Inhalt enthalten, muss möglicherweise abgeflacht werden. Einige Daten weisen einige hierarchische Merkmale auf, z. B. Eltern-Kind-Beziehungen oder einen Datensatz, der aus anderen Datensätzen besteht.Zum Beispiel kann ein Produkt wie ein Auto mehrere Hersteller haben; Daten zu glätten bedeutet in diesem Fall, dass jeder Hersteller als zusätzliches Merkmal des zu analysierenden Datensatzes enthalten ist.

Das Reduzieren von Daten ist wichtig, wenn es aus mehreren verknüpften Datensätzen zusammengefügt wird, um ein besseres Bild zu erhalten.

Zum Beispiel kann es für die Analyse von unerwünschten Ereignissen bei mehreren Arzneimitteln mehrerer Unternehmen erforderlich sein, dass die Daten auf der Ebene der Stoffe abgeflacht werden. Auf diese Weise entfernen Sie schließlich die Eins-zu-Viele-Beziehungen (in diesem Fall viele Hersteller und viele Substanzen für ein Produkt), die zu viele Datenkopien verursachen können, indem Produkt- und Herstellerinformationen bei jedem Eintrag.

Die Reduzierung reduziert die Dimensionalität der Daten, die durch die Anzahl der Merkmale eines Datensatzes oder einer Beobachtung dargestellt wird.

Ein Kunde kann beispielsweise die folgenden Funktionen haben: Name, Alter, Adresse, gekaufte Artikel. Wenn Sie mit der Analyse beginnen, werden Sie möglicherweise Datensätze mit vielen Funktionen auswerten, von denen nur einige für die Analyse wichtig sind. Daher sollten Sie alle außer den wenigen Features eliminieren, die die größte Aussagekraft für Ihr spezifisches Projekt haben.

Das Reduzieren der Dimensionalität der Daten kann erreicht werden, indem alle Daten in eine einzige Tabelle gestellt werden, die mehrere Spalten verwendet, um interessierende Attribute darzustellen. Zu Beginn der Analyse muss die Analyse natürlich eine große Anzahl von Spalten auswerten - aber diese Zahl kann mit fortschreitender Analyse eingegrenzt werden.

Dieser Prozess kann unterstützt werden, indem die Felder wiederhergestellt werden - z. B. durch Gruppieren der Daten in Kategorien mit ähnlichen Eigenschaften.

Der resultierende Datensatz - der gereinigte Datensatz - wird normalerweise in eine separate Datenbank für die zu verwendenden Analysten gestellt. Während des Modellierungsprozesses sollten diese Daten leicht zugänglich sein, verwaltet und auf dem neuesten Stand gehalten werden.