Data Mining für Big Data - Dummies

Beim Data Mining werden große Datenmengen erforscht und analysiert, um Muster für Big Data zu finden. Die Techniken kamen aus den Bereichen Statistik und künstliche Intelligenz (AI), wobei ein wenig Datenbankverwaltung in den Mix eingebracht wurde.

Im Allgemeinen ist das Ziel des Data Mining entweder die Klassifizierung oder die Vorhersage. Bei der Klassifizierung geht es darum, Daten in Gruppen zu sortieren. Zum Beispiel könnte ein Vermarkter an den Eigenschaften derer interessiert sein, die geantwortet haben und die nicht auf eine Beförderung angesprochen haben.

Dies sind zwei Klassen. Bei der Vorhersage geht es darum, den Wert einer stetigen Variablen vorherzusagen. Zum Beispiel könnte ein Vermarkter daran interessiert sein, diejenigen vorherzusagen, die auf eine Werbeaktion antworten werden. Typische Algorithmen, die beim Data Mining verwendet werden, umfassen Folgendes:

Klassifizierungsbäume:

• Eine beliebte Data-Mining-Technik, mit der eine abhängige kategoriale Variable basierend auf Messungen einer oder mehrerer Prädiktorvariablen klassifiziert wird. Das Ergebnis ist ein Baum mit Knoten und Verbindungen zwischen den Knoten, die gelesen werden können, um Wenn-dann-Regeln zu bilden.

  Logistische Regression:

• Eine statistische Technik, die eine Variante der Standardregression darstellt, erweitert jedoch das Konzept zur Klassifizierung. Es erzeugt eine Formel, die die Wahrscheinlichkeit des Auftretens als Funktion der unabhängigen Variablen vorhersagt. Neuronale Netze:

• Ein Softwarealgorithmus, der der Parallelarchitektur tierischer Gehirne nachempfunden ist. Das Netzwerk besteht aus Eingabeknoten, ausgeblendeten Ebenen und Ausgabeknoten. Jeder Einheit ist ein Gewicht zugeordnet. Daten werden an den Eingabeknoten übergeben, und durch ein System von Versuch und Fehler passt der Algorithmus die Gewichte an, bis er ein bestimmtes Stoppkriterium erfüllt. Einige Leute haben dies mit einem Black-Box-Ansatz verglichen.

  Clustering-Techniken wie K-Nächste Nachbarn:

• Eine Technik, die Gruppen ähnlicher Datensätze identifiziert. Die K-Nächste-Nachbar-Technik berechnet die Abstände zwischen der Aufzeichnung und den Punkten in den historischen (Trainings-) Daten. Dann ordnet er diesen Datensatz der Klasse seines nächsten Nachbarn in einem Datensatz zu. Hier ist ein Beispiel für einen Klassifizierungsbaum. Betrachten Sie die Situation, in der eine Telefongesellschaft bestimmen möchte, welche Privatkunden ihren Dienst wahrscheinlich trennen werden.

Die Telefongesellschaft verfügt über Informationen, die aus folgenden Attributen bestehen: wie lange hat die Person den Dienst gehabt, wie viel er für den Dienst ausgibt, ob der Dienst problematisch war, ob er den besten Anrufplan hat, den er benötigt, wo er lebt, wie alt er ist, ob er andere Dienstleistungen gebündelt hat, Wettbewerbsinformationen über andere Carrier-Pläne hat und ob er noch den Dienst hat.

Natürlich können Sie viele weitere Attribute finden. Das letzte Attribut ist die Ergebnisvariable; das ist, was die Software verwenden wird, um die Kunden in eine der beiden Gruppen zu klassifizieren - vielleicht genannt Bleiben und Flugrisiken.

Der Datensatz ist in Trainingsdaten und einen Testdatensatz unterteilt. Die Trainingsdaten bestehen aus Beobachtungen (Attributen genannt) und einer Ergebnisvariablen (binär im Fall eines Klassifikationsmodells) - in diesem Fall den Stayers oder den Flugrisiken.

Der Algorithmus wird über die Trainingsdaten laufen gelassen und liefert einen Baum, der wie eine Reihe von Regeln gelesen werden kann. Wenn die Kunden beispielsweise seit mehr als zehn Jahren im Unternehmen sind und älter als 55 Jahre sind, bleiben sie wahrscheinlich als treue Kunden erhalten.

Diese Regeln werden dann über den Testdatensatz ausgeführt, um zu bestimmen, wie gut dieses Modell auf "neuen Daten" ist. "Genauigkeitsmaße werden für das Modell angegeben. Eine beliebte Technik ist beispielsweise die Verwirrungsmatrix. Diese Matrix ist eine Tabelle, die Informationen darüber liefert, wie viele Fälle richtig und falsch klassifiziert wurden.

Wenn das Modell gut aussieht, kann es auf anderen Daten bereitgestellt werden, da es verfügbar ist (d. H. Es verwendet, um neue Fälle von Flugrisiken vorherzusagen). Auf der Grundlage des Modells könnte das Unternehmen beispielsweise entscheiden, spezielle Angebote an jene Kunden zu senden, die seiner Meinung nach Flugrisiken sind.