Inhaltsverzeichnis:
Video: STA303/STA1002: Cost Matrix for the German Credit Dataset 2024
Bevor Sie Gruppen von ähnlichen Datenelementen aus Ihrem Datenbestand für Ihr Vorhersageanalyseprojekt extrahieren können, müssen Sie möglicherweise Ihre Daten in einer Tabelle darstellen. Format bekannt als Datenmatrix . Dies ist ein Vorverarbeitungsschritt, der vor dem Datenclustering stattfindet.
Erstellen einer prädiktiven Analysematrix von Begriffen in Dokumenten
Angenommen, die Datenmenge, die Sie analysieren möchten, ist in einer Reihe von Microsoft Word-Dokumenten enthalten. Das erste, was Sie tun müssen, ist die Konvertierung der Dokumente in eine Datenmatrix. Mehrere kommerzielle und Open-Source-Tools können diese Aufgabe bewältigen und eine Matrix erzeugen, in der jede Zeile einem Dokument im Datensatz entspricht. Beispiele für diese Tools sind RapidMiner und R-Mining-Pakete.
Ein Dokument ist im Wesentlichen ein Satz von Wörtern. Ein -Term ist ein Satz von einem oder mehreren Wörtern.
Jeder Begriff, den ein Dokument enthält, wird einmal oder mehrmals im selben Dokument erwähnt. Die Häufigkeit, mit der ein Begriff in einem Dokument erwähnt wird, kann durch Ausdrucksfrequenz (TF), einen numerischen Wert, dargestellt werden.
Wir konstruieren die Matrix von Begriffen im Dokument wie folgt:
-
Die Begriffe, die in allen Dokumenten vorkommen, sind in der obersten Zeile aufgeführt.
-
Dokumenttitel sind in der Spalte ganz links aufgeführt.
-
Die Zahlen, die innerhalb der Matrixzellen erscheinen, entsprechen der Häufigkeit jedes Terms.
Zum Beispiel wird Dokument A als eine Menge von Zahlen (5, 16, 0, 19, 0, 0) dargestellt. Dabei entspricht 5 der Anzahl der Wiederholungen des Terms Predictive Analytics , 16 entspricht der Anzahl mal Informatik wird wiederholt, und so weiter. Dies ist der einfachste Weg, um eine Reihe von Dokumenten in eine Matrix umzuwandeln.
| Predictive Analytics | Informatik | Lernen | Clustering | 2013 | Anthropologie | |
|---|---|---|---|---|---|---|
| Dokument A | 5 | 16 | 0 < 19 | 0 | 0 | Dokument B |
| 8 | 6 | 2 | 3 0 0 Dokument C | 0 < 5 | 2 | 3 3 9 Dokument D 999 1 999 9 999 13 999 49999 6 999 7 799 > Dokument E |
| 2 | 16 | 16 | 0 | 2 13 Dokument F | 13 | 0 |
| 19 | 16 > 4 | 2 | Grundlagen der prädiktiven Analyse Begriffsauswahl | Eine Herausforderung beim Clustering von Textdokumenten besteht darin, festzulegen, wie die besten Begriffe für die Darstellung aller Dokumente in der Sammlung auszuwählen sind. Wie wichtig ein Begriff in einer Sammlung von Dokumenten ist, kann auf verschiedene Arten berechnet werden. | Wenn Sie z. B. die Häufigkeit zählen, mit der ein Begriff in einem Dokument wiederholt wird, und diese Summe mit der Häufigkeit vergleichen, in der er in der gesamten Sammlung vorkommt, erhalten Sie ein Gefühl für die Bedeutung des Begriffs im Verhältnis zu anderen Begriffen. | Basierend auf der relativen Wichtigkeit eines Terms auf seine Häufigkeit in einer Sammlung wird oft als |
| Gewichtung | bezeichnet. Das Gewicht, das Sie zuweisen, kann auf zwei Prinzipien basieren: | Begriffe, die in einem Dokument mehrfach vorkommen, werden gegenüber Begriffen bevorzugt, die nur einmal vorkommen. | Begriffe, die in relativ wenigen Dokumenten verwendet werden, werden gegenüber Begriffen bevorzugt, die in allen Dokumenten erwähnt werden. | Wenn der Begriff | Jahrhundert | (zum Beispiel) in allen Dokumenten Ihres Datensatzes erwähnt wird, dann sollten Sie ihm möglicherweise nicht genügend Gewicht zuweisen, um eine eigene Spalte in der Matrix zu haben. |
| Wenn Sie es mit einem Datensatz von Benutzern eines sozialen Online-Netzwerks zu tun haben, können Sie diesen Datensatz auf einfache Weise in eine Matrix umwandeln. Benutzer-IDs oder Namen belegen die Zeilen. In den Spalten werden Features aufgeführt, die diese Benutzer am besten beschreiben. |
