So ​​durchsuchen Sie Ihre Predictive Analytics-Daten - Dummies

Ihre vorausschauenden Analysedaten müssen Sie wissen, wie Sie die Informationen finden, die Sie finden möchten. Es gibt zwei Hauptkonzepte für das Durchsuchen Ihrer Daten in Vorbereitung auf die Verwendung in der Vorhersageanalyse:

• Bereiten Sie sich darauf vor, über die grundlegende Schlüsselwortsuche hinauszugehen

• Ihre Daten semantisch durchsuchbar machen

So verwenden Sie die keywordbasierte Suche in Vorhersagen Analytik

Stellen Sie sich vor, Sie hätten die Aufgabe, große Datenmengen zu durchsuchen. Eine Möglichkeit, das Problem anzugehen, besteht darin, eine Suchabfrage auszugeben, die (offensichtlich) aus Wörtern besteht. Das Suchwerkzeug sucht nach passenden Wörtern in der Datenbank, dem Data Warehouse oder durchsucht jeden Text, in dem sich Ihre Daten befinden.

Angenommen, Sie geben die folgende Suchanfrage aus: Der Präsident der Vereinigten Staaten besucht Afrika . Die Suchergebnisse werden aus Text bestehen, der genau eine oder eine Kombination der Wörter Präsident, USA, Besuche, Afrika enthält. Sie erhalten möglicherweise genau die Informationen, nach denen Sie suchen, aber nicht immer.

Wie wäre es mit den Dokumenten, die keines der oben erwähnten Wörter enthalten, sondern eine Kombination aus Folgendem: Obamas Reise nach Kenia .

Keines der Wörter, nach denen Sie ursprünglich gesucht haben, ist dort enthalten - aber die Suchergebnisse sind semantisch (sinnvoll) nützlich. Wie können Sie Ihre Daten so vorbereiten, dass sie semantisch abrufbar sind? Wie können Sie über die traditionelle Stichwortsuche hinausgehen? Ihre Antworten finden Sie, wenn Sie weiterlesen.

So verwenden Sie semantikbasierte Suchen in Predictive Analytics

Ein Beispiel dafür, wie semantische Suche funktioniert, ist ein Projekt, das Anasse Bari bei der Weltbankgruppe leitete, einer internationalen Organisation, deren Hauptauftrag ist die Bekämpfung der Armut auf der ganzen Welt.

Das Projekt zielte darauf ab, existierende groß angelegte Unternehmenssuche und -analysen im Markt zu untersuchen und einen Prototyp für ein hochmodernes Framework zu erstellen, das die Weltbankdaten organisieren sollte - das meiste davon war eine unstrukturierte Sammlung von Dokumenten, Publikationen, Projektberichten, Briefings und Fallstudien.

Dieses enorme wertvolle Wissen ist eine Ressource, die für die Hauptaufgabe der Bank, die Armut in der Welt zu verringern, verwendet wird. Aber die Tatsache, dass es unstrukturiert ist, macht es schwierig zuzugreifen, zu erfassen, zu teilen, zu verstehen, zu suchen, Daten zu verminen und zu visualisieren.

Die Weltbank ist eine riesige Organisation mit vielen Abteilungen rund um den Globus. Eine der Hauptabteilungen bestand darin, einen Rahmen zu haben und bereit zu sein, Ressourcen zu verteilen, um das Bari-Team zu unterstützen, war das Human Development Network innerhalb der Weltbank.

Der Vizepräsident des Human Development Network umriss ein Problem, das aus Zweideutigkeit entstand: Seine Abteilung verwendete mehrere Begriffe und Konzepte, die die gleiche allgemeine Bedeutung, aber unterschiedliche Nuancen hatten.

Begriffe wie Klimatologie, Klimawandel, Ozonabbau, und Treibhausgasemissionen waren zum Beispiel semantisch verwandt, aber nicht gleichbedeutend. Er wollte eine Suchfunktion, die intelligent genug war, um Dokumente zu extrahieren, die verwandte Konzepte enthielten, wenn jemand einen dieser Begriffe durchsuchte.

Das Prototyp-Framework für diese Fähigkeit, das das Bari-Team auswählte, war die Unstructured Information Management Architecture (UIMA), eine softwarebasierte Lösung. Ursprünglich von IBM Research entwickelt, ist UIMA in IBM-Software wie IBM Content Analytics verfügbar, einem der Tools von IBM Watson, dem berühmten Computer, der das Spiel Jeopardy gewonnen hat.

Das Bari-Team arbeitete mit einem sehr talentierten Team von IBM Content Management und Enterprise Search zusammen und später mit einem IBM Watson-Team zusammen, um an diesem Projekt mitzuarbeiten.

Eine Unstrukturierte Informationsverwaltung (UIM) -Lösung ist ein Softwaresystem, das große Mengen unstrukturierter Informationen (Text, Audio, Video, Bilder usw.) analysiert, um relevantes Wissen zu entdecken, zu organisieren und bereitzustellen. der Client oder der Endbenutzer der Anwendung.

Die Ontologie einer Domäne ist ein Array von Konzepten und verwandten Begriffen, die sich auf eine Domäne beziehen. Eine UIMA-basierte Lösung verwendet Ontologien, um semantisches Tagging bereitzustellen, das eine erweiterte Suche unabhängig vom Datenformat (Text, Sprache, PowerPoint-Präsentation, E-Mail, Video usw.) ermöglicht. UIMA fügt den erfassten Daten eine weitere Ebene hinzu und fügt dann Metadaten hinzu, um Daten zu identifizieren, die strukturiert und semantisch durchsucht werden können.

Die semantische Suche basiert auf der kontextuellen Bedeutung von Suchbegriffen, wie sie im durchsuchbaren Datenbereich erscheinen, den UIMA erstellt. Die semantische Suche ist genauer als die übliche schlüsselwortbasierte Suche, da eine Benutzerabfrage Suchergebnisse nicht nur von Dokumenten zurückliefert, die die Suchbegriffe enthalten, sondern auch von Dokumenten, die für die Abfrage semantisch relevant sind.

Wenn Sie nach Biodiversität in Afrika suchen, wird eine typische (keywordbasierte) Suche Dokumente zurückgeben, die genau die Wörter Biodiversität und Afrika haben… Eine UIMA-basierte semantische Suche gibt nicht nur die Dokumente zurück, die diese beiden Wörter haben, sondern auch alles, was für "Biodiversität in Afrika" semantisch relevant ist, Dokumente mit Wortkombinationen wie "Pflanzenressourcen in Afrika", "Tierressourcen in Afrika". Marokko, "oder" genetische Ressourcen in Simbabwe. "

Durch semantisches Tagging und die Verwendung von Ontologien werden Informationen semantisch abrufbar, unabhängig von der Sprache oder dem Medium, in dem die Informationen erstellt wurden (Word, PowerPoint, E-Mail, Video usw.). Diese Lösung bietet einen einzigen Hub, in dem Daten erfasst, organisiert, ausgetauscht und semantisch abrufbar gemacht werden können.

Wörterbücher mit Synonymen und verwandten Begriffen sind Open Source (frei verfügbar) - oder Sie können eigene Wörterbücher für Ihre Domain oder Ihre Daten entwickeln. Sie können eine Tabelle mit dem Stammwort und den entsprechenden verwandten Wörtern, Synonymen und weiteren Begriffen erstellen. Die Tabelle kann in ein Suchwerkzeug wie IBM Content Analytics (ICA) hochgeladen werden, um die Unternehmenssuche und Inhaltsanalyse zu unterstützen.