Video: Text Mining II: Beispielprozess und Methodik 2024
Es gibt zahlreiche Methoden zur Analyse von unstrukturierten Daten für Ihre Big-Data-Initiative. In der Vergangenheit kamen diese Techniken aus technischen Bereichen wie der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), Wissensentdeckung, Data Mining, Information Retrieval und Statistiken. Textanalyse ist der Prozess der Analyse von unstrukturiertem Text, der Extraktion relevanter Informationen und der Umwandlung in strukturierte Informationen, die dann auf verschiedene Weise genutzt werden können.
Die Analyse- und Extraktionsprozesse nutzen Techniken aus der Computerlinguistik, Statistik und anderen Informatikdisziplinen.
Manchmal kann ein Beispiel helfen, ein komplexes Thema zu erklären. Angenommen, Sie arbeiten für die Marketingabteilung einer Mobilfunkfirma. Sie haben gerade zwei neue Anrufpläne gestartet - Plan A und Plan B -, und Sie erhalten nicht die gewünschte Aufnah- me in Plan A. Der unstrukturierte Text aus den Notizen des Call Centers könnte Ihnen einen Einblick geben, warum dies passiert ist.
Die unterstrichenen Wörter liefern die Informationen, die Sie möglicherweise benötigen, um zu verstehen, warum Plan A nicht schnell angenommen wird. Beispielsweise wird der Entitätsplan A in den Call-Center-Notizen angezeigt, wodurch angezeigt wird, dass die Berichte den Plan erwähnen.
Die Begriffe Roll-Over-Minuten, 4 GB Daten, Datentarif, und teuer sind ein Beweis dafür, dass ein Problem mit Roll-Over-Minuten, dem Datentarif und dem Preis besteht. Wörter wie lächerlich und dumm geben einen Einblick in die Anruferstimmung, die in diesem Fall negativ ist.
Der Textanalyseprozess verwendet verschiedene Algorithmen, wie zum Beispiel das Verstehen der Satzstruktur, um den unstrukturierten Text zu analysieren und dann Informationen zu extrahieren und diese Informationen in strukturierte Daten umzuwandeln. Die aus dem unstrukturierten Text extrahierten strukturierten Daten sind in Tabelle 13-1 dargestellt.
| Bezeichner | Entität | Ausgabe | Stimmung |
|---|---|---|---|
| Kunde XYZ | Plan A | Rollover-Minuten | Neutral |
| Kunde ABC | Plan A | Überrollminuten | Negativ |
| XXXX | Plan A | Teuer | Neutral |
| XXXX | Plan A | Datenplan | Neutral |
| Kunden-XYT > Planen Sie A | Datenplan | Negativ | Sie können sich das ansehen und sagen: "Aber ich hätte das herausfinden können, wenn ich mir die Datensätze des Call Centers angesehen hätte. "Dies ist jedoch nur eine kleine Untermenge der Informationen, die von Tausenden von Call-Center-Agenten aufgezeichnet werden. Jeder einzelne Agent kann keinen breiten Trend in Bezug auf das Problem mit jedem von dem Unternehmen angebotenen Plan wahrnehmen. |
Agents haben nicht die Zeit oder die Anforderung, diese Informationen für alle anderen Call Center-Agenten freizugeben, die möglicherweise ähnliche Anzahlen von Aufrufen zu Plan A erhalten. Nachdem diese Informationen jedoch mithilfe von Textanalysealgorithmen aggregiert und verarbeitet wurden, ist ein Trend zu beobachten. kann aus diesen unstrukturierten Daten hervorgehen. Das macht die Textanalyse so leistungsfähig.
Bei der Suche geht es darum, ein Dokument auf der Grundlage dessen abzurufen, was Endbenutzer bereits wissen, nach dem sie suchen. Bei der Textanalyse geht es darum, Informationen zu entdecken. Während sich die Textanalyse von der Suche unterscheidet, kann sie die Suchtechniken erweitern. Zum Beispiel kann eine mit der Suche kombinierte Textanalyse verwendet werden, um eine bessere Kategorisierung oder Klassifizierung von Dokumenten bereitzustellen und um Zusammenfassungen oder Zusammenfassungen von Dokumenten zu erzeugen.
Es gibt vier Technologien: Abfrage, Data Mining, Suche und Textanalyse. Auf der linken Seite der Tabelle befinden sich Abfrage und Suche, bei denen es sich um den Abruf handelt. Beispielsweise könnte ein Endbenutzer eine Datenbank abfragen, um herauszufinden, wie viele Kunden die Dienste des Unternehmens im letzten Monat nicht mehr nutzen.
Die Abfrage würde eine einzelne Zahl zurückgeben. Nur durch die Abfrage von mehr und anderen Anfragen erhält der Endbenutzer die Informationen, die erforderlich sind, um festzustellen, warum Kunden gehen. Ebenso ermöglicht die Stichwortsuche dem Endbenutzer, die Dokumente zu finden, die die Namen der Konkurrenten eines Unternehmens enthalten. Die Suche würde eine Gruppe von Dokumenten zurückgeben. Nur durch das Lesen der Dokumente würde der Endbenutzer relevante Antworten finden.
Retrieval
| Insight | Strukturiert | |
|---|---|---|
| Abfrage: Gibt Daten zurück | Data Mining: Einblick aus strukturierten Daten | Unstrukturiert |
| Suchen: Rückgabe von Dokumenten | Textanalyse: Einblick aus Text < Die Technologien auf der linken Seite geben Informationen zurück und erfordern menschliche Interaktion, um diese Informationen zu synthetisieren und zu analysieren. Die Technologien auf der rechten Seite - Data Mining und Text Analytics - liefern viel schneller Erkenntnisse. Hoffentlich wird der Wert von Textanalysen für Ihre Organisation deutlich. |
