Zuhause Persönliche Finanzen Analyse und Extraktionstechniken für Big Data - Dummies

Analyse und Extraktionstechniken für Big Data - Dummies

Inhaltsverzeichnis:

Video: Prometheus - Goethe (Analyse und Interpretation) 2025

Video: Prometheus - Goethe (Analyse und Interpretation) 2025
Anonim

Im Allgemeinen verwenden Textanalyselösungen für Big Data eine Kombination aus statistischen und Natural Language Processing (NLP) -Techniken, um Informationen aus unstrukturierten Daten zu extrahieren. NLP ist ein weites und komplexes Gebiet, das sich in den letzten 20 Jahren entwickelt hat.

Ein primäres Ziel von NLP ist es, Bedeutung aus Text abzuleiten. Die Verarbeitung natürlicher Sprache verwendet im Allgemeinen sprachliche Konzepte wie grammatikalische Strukturen und Wortarten. Häufig besteht die Idee hinter dieser Art von Analyse darin, zu bestimmen, wer was wann, wo, wie und warum getan hat.

NLP führt eine Analyse von Text auf verschiedenen Ebenen durch:

  • Die lexikalische / morphologische Analyse untersucht die Eigenschaften eines einzelnen Wortes - einschließlich Präfixe, Suffixe, Wurzeln und Wortarten (Substantiv, Verb, Adjektiv und so weiter) - Informationen, die dazu beitragen, zu verstehen, was das Wort im Kontext des bereitgestellten Textes bedeutet. Die lexikalische Analyse hängt von einem Wörterbuch, Thesaurus oder einer Liste von Wörtern ab, die Informationen über diese Wörter bereitstellt.

  • Die syntaktische Analyse benutzt die grammatische Struktur, um den Text zu zerlegen und einzelne Wörter in einen Kontext zu bringen. Hier erweitern Sie Ihren Blick von einem einzigen Wort auf die Phrase oder den ganzen Satz. Dieser Schritt könnte die Beziehung zwischen Wörtern (die Grammatik) darstellen oder nach Folgen von Wörtern suchen, die korrekte Sätze bilden, oder nach Folgen von Zahlen, die Daten oder Geldwerte darstellen.

  • Semantische Analyse bestimmt die möglichen Bedeutungen eines Satzes. Dies kann die Untersuchung der Wortreihenfolge und der Satzstruktur sowie die Eindeutigkeit von Wörtern umfassen, indem die in den Phrasen, Sätzen und Absätzen gefundene Syntax in Beziehung gesetzt wird.

  • Discourse-Level-Analyse versucht, die Bedeutung von Text über die Satzebene hinaus zu bestimmen.

Verstehen der extrahierten Informationen aus Big Data

Bestimmte Techniken, kombiniert mit anderen statistischen oder linguistischen Techniken zur Automatisierung der Markierung und Markierung von Textdokumenten, können die folgenden Arten von Informationen extrahieren:

  • Begriffe: Name für Schlüsselwörter.

  • Entities: Oft genannte named Entities , sind spezifische Beispiele für Abstraktionen. Beispiele sind Namen von Personen, Firmennamen, geografische Standorte, Kontaktinformationen, Daten, Uhrzeiten, Währungen, Titel und Positionen usw. Zum Beispiel kann Textanalysesoftware die Entität Jane Doe als eine Person extrahieren, auf die im analysierten Text Bezug genommen wird. Die Entität 3. März 2007 kann als Datum extrahiert werden usw.

  • Fakten: Fakten, die auch als Beziehungen , bezeichnet werden, geben die who / what / where-Beziehungen zwischen zwei Entitäten an. John Smith ist der Geschäftsführer der Firma Y und Aspirin reduziert Fieber sind Beispiele für Fakten.

  • Ereignisse: Während einige Experten die Begriffe Tatsache , Beziehung , und Ereignis austauschbar verwenden, unterscheiden andere zwischen Ereignissen und Tatsachen, dass Ereignisse normalerweise eine Zeitdimension enthalten und oft dazu führen, dass sich Fakten ändern. Beispiele sind ein Wechsel im Management innerhalb eines Unternehmens oder der Status eines Verkaufsprozesses.

  • Konzepte: Dies sind Sätze von Wörtern und Ausdrücken, die auf eine bestimmte Idee oder ein Thema hinweisen, mit denen der Benutzer zu tun hat. Zum Beispiel kann das Konzept unzufriedener Kunde die Wörter wütend, enttäuscht, und verwirrt und die Begriffe Dienst trennen, nicht zurückrufen. und Geldverschwendung - unter vielen anderen. Somit kann das Konzept unzufriedener Kunde extrahiert werden, ohne dass die Wörter unglücklich oder Kunde im Text erscheinen.

  • Sentiments: Die Sentimentanalyse wird verwendet, um Standpunkte oder Emotionen im zugrunde liegenden Text zu identifizieren. Einige Techniken tun dies, indem sie Text als beispielsweise subjektiv (Meinung) oder objektiv (Tatsache) klassifizieren, wobei maschinelles Lernen oder NLP-Techniken verwendet werden. Die Sentiment-Analyse ist in Anwendungen der "Stimme des Kunden" sehr populär geworden.

Big data taxonomies

Taxonomien sind oft für die Textanalyse von entscheidender Bedeutung. Eine -Taxonomie ist eine Methode zur Organisation von Informationen in hierarchischen Beziehungen. Es wird manchmal als eine Art der Organisation von Kategorien bezeichnet. Da eine Taxonomie die Beziehungen zwischen den Begriffen definiert, die ein Unternehmen verwendet, erleichtert es das Auffinden und anschließende Analysieren von Text.

Beispielsweise bietet ein Telekommunikationsdienstanbieter sowohl einen drahtgebundenen als auch einen drahtlosen Dienst an. Innerhalb des drahtlosen Dienstes kann das Unternehmen Mobiltelefone und einen Internetzugang unterstützen. Das Unternehmen kann dann zwei oder mehr Möglichkeiten haben, Mobiltelefondienste zu kategorisieren, wie beispielsweise Pläne und Telefontypen. Die Taxonomie könnte bis zu den Teilen eines Telefons reichen.

Taxonomien können auch Synonyme und alternative Ausdrücke verwenden und erkennen, dass Mobiltelefon, Mobiltelefon und Mobiltelefon alle gleich sind. Diese Taxonomien können sehr komplex sein und lange Zeit in Anspruch nehmen.

Analyse und Extraktionstechniken für Big Data - Dummies

Die Wahl des Herausgebers

Wie man Dateien in C ++ kopiert - Dummies

Wie man Dateien in C ++ kopiert - Dummies

Ah, eine Datei kopieren - etwas so einfaches, es passiert alles Zeit. Kopiere diese Datei dorthin; Kopieren Sie diese Datei hier. Aber was genau passiert, wenn Sie eine Datei kopieren? Sie erstellen tatsächlich eine neue Datei und füllen diese mit dem gleichen Inhalt wie die Originaldatei. Und wie machst du das? Nun, ...

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Wenn Sie ein Verzeichnis erstellen möchten, können Sie das MKdir Funktion. Wenn die Funktion das Verzeichnis für Sie erstellen kann, gibt sie eine 0 zurück. Andernfalls wird ein Wert ungleich Null zurückgegeben. (Wenn Sie es ausführen, erhalten Sie eine -1, aber Ihre beste Wette - immer - ist es, gegen 0 zu testen.) Hier ist einige ...

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Mit einer mathematischen Vorlage erstellt, die man normalerweise benötigt Zugriff auf eine Vielzahl von Berechnungen, aber nur jeweils eine oder zwei dieser Berechnungen. Zum Beispiel, wenn jemand Ihre Hypothek berechnet, muss er die Amortisationsrechnung nicht kennen. Die Person kann jedoch die Amortisationsberechnung benötigen, wenn Sie mit ...

Die Wahl des Herausgebers

ASVAB: Lesen für die Studie - Dummies

ASVAB: Lesen für die Studie - Dummies

Lesen für die Zwecke des Studiums der ASVAB ist eine andere Art des Lesens. Leseverständnis erfordert nur, dass Sie Informationen lange genug im Kurzzeitgedächtnis speichern, um einige Sekunden später eine Frage zu beantworten. Zum Lesen für die Zwecke des Studiums müssen Sie wichtige Informationen in Ihr Langzeitgedächtnis einpflegen - ...

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

Als wäre Algebra nicht anspruchsvoll genug, einige Fragen zur Der Subtest Mathematik auf dem ASVAB wird auch eine Ungleichheit einwerfen - nur um sicherzustellen, dass Sie aufmerksam sind. Wie erkennst du eine Ungleichheit? Halten Sie Ausschau nach Fragen mit mehr als oder weniger als Symbolen oder nach Graphen, die eine Zahlenlinie mit einem ...

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

Der Subtest Mathematikwissen auf dem ASVAB wird Fragen beinhalten, die Sie fragen mit Teilen eines Ganzen oder Fraktionen arbeiten. Diese Fragen können das Multiplizieren, Dividieren, Addieren, Subtrahieren und Konvertieren von Brüchen beinhalten, ähnlich den folgenden Übungsfragen. Übungsfragen Welche Fraktionen sind nicht gleichwertig? Gegeben einfach den Ausdruck. Antworten und Erklärungen Das richtige ...

Die Wahl des Herausgebers

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Adobe besitzt sowohl Flash als auch Dreamweaver Daher finden Sie großartige Unterstützung für Flash-Dateien in Dreamweaver. Das Dialogfeld "FLV einfügen" erleichtert das Festlegen von Parametern für Flash. Dreamweaver erkennt sogar automatisch die Größe von Flash-Videodateien. Sie können Flash auch zum Erstellen und Einfügen von Audiodateien verwenden, wobei nur der Player angezeigt wird.

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Dreamweaver bietet Werkzeuge zum Erstellen von Bildern Einstellungen, einschließlich der Helligkeit und des Kontrastes. Durch die Anpassung der Bildhelligkeit können Sie die Gesamtlichtmenge in einem Bild ändern. Kontrast steuert den Unterschied zwischen hellen und dunklen Bereichen eines Bildes. Wenn Sie die Dreamweaver-Bearbeitungswerkzeuge verwenden, wird das Bild dauerhaft geändert, wenn die Seite ...

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Wenn Sie Ihrer Website ein Bild hinzufügen, erscheint anfangs fast magisch, weil der Prozess mit Dreamweaver so einfach ist. Die Herausforderung bei Webgrafiken besteht darin, sie nicht zu Ihren Seiten hinzuzufügen, sondern gut aussehende Bilder zu erstellen, die schnell im Browser Ihres Viewers geladen werden. Sie benötigen ein anderes Programm wie Photoshop, Photoshop Elements oder Fireworks, um ...