Mit den Grundlagen von Statistik, maschinellem Lernen und mathematischen Methoden in der Datenwissenschaft - Dummies

Teil von Data Science für Dummies Cheat Sheet > Wenn die Statistik als die Wissenschaft beschrieben wird, Erkenntnisse aus Daten abzuleiten, was ist dann der Unterschied zwischen einem Statistiker und einem Datenwissenschaftler? Gute Frage! Während viele Aufgaben in der Datenwissenschaft ein angemessenes statistisches Know-how erfordern, unterscheidet sich der Umfang und die Breite der Kenntnisse und Fertigkeiten eines Datenwissenschaftlers von denen eines Statistikers. Die Kernunterscheidungen sind unten aufgeführt.

Fachwissen:

Eines der Hauptmerkmale von Datenwissenschaftlern ist, dass sie ein hohes Maß an Fachwissen auf dem Gebiet bieten, auf das sie ihre Analysemethoden anwenden. Datenwissenschaftler benötigen dies, damit sie die Auswirkungen und Anwendungen der gewonnenen Datenerkenntnisse wirklich verstehen können. Ein Datenwissenschaftler sollte über ausreichende Fachkenntnisse verfügen, um die Bedeutung seiner Befunde zu ermitteln und unabhängig zu entscheiden, wie in der Analyse vorzugehen ist.

Im Gegensatz dazu verfügen Statistiker in der Regel über eine unglaublich tiefe Kenntnis der Statistik, aber nur sehr wenig Fachwissen in den Bereichen, für die sie statistische Methoden anwenden. Die meisten Statistiker sind verpflichtet, sich mit externen Fachexperten zu beraten, um die Bedeutung ihrer Ergebnisse wirklich im Griff zu behalten und den besten Weg zu finden, um in einer Analyse voranzukommen.

Mathematische und maschinelle Lernansätze:
Statistiker verlassen sich bei der Ableitung von Erkenntnissen aus Daten hauptsächlich auf statistische Methoden und Prozesse. Im Gegensatz dazu müssen Datenwissenschaftler von einer Vielzahl von Techniken Gebrauch machen, um Datenerkenntnisse abzuleiten. Dazu gehören statistische Methoden, aber auch Ansätze, die nicht in der Statistik basieren - wie etwa in Mathematik, Clustering, Klassifikation und nicht-statistischen maschinellen Lernansätzen. Die Bedeutung des statistischen Know-hows sehen

Sie müssen nicht in die Statistik gehen, um Data Science zu praktizieren, aber Sie sollten sich zumindest mit einigen der grundlegenderen Methoden vertraut machen, die verwendet werden. in der statistischen Datenanalyse. Dazu gehören:

Lineare Regression

: Die lineare Regression ist nützlich für die Modellierung der Beziehungen zwischen einer abhängigen Variablen und einer oder mehreren unabhängigen Variablen. Der Zweck der linearen Regression besteht darin, wichtige Korrelationen zwischen abhängigen und unabhängigen Variablen zu entdecken (und deren Stärke zu quantifizieren). Zeitreihenanalyse:
Bei der Zeitreihenanalyse wird eine Sammlung von Daten über Attributwerte über die Zeit analysiert, um zukünftige Instanzen der Messung basierend auf den vergangenen Beobachtungsdaten vorherzusagen. Monte-Carlo-Simulationen:
Die Monte Carlo-Methode ist eine Simulationstechnik, mit der Sie Hypothesen testen, Parameterschätzungen generieren, Szenarioergebnisse vorhersagen und Modelle validieren können. Die Methode ist sehr leistungsfähig, da sie sehr schnell Simulationen von 1 bis 10, 000 (oder mehr) Simulationsbeispielen für alle Prozesse simulieren kann, die Sie bewerten möchten. Statistiken für räumliche Daten:
Eine grundlegende und wichtige Eigenschaft räumlicher Daten ist, dass sie nicht zufällig sind. Es ist räumlich abhängig und autokorreliert. Vermeiden Sie beim Modellieren von räumlichen Daten statistische Methoden, die davon ausgehen, dass Ihre Daten zufällig sind. Kriging und krige sind zwei statistische Methoden, mit denen Sie räumliche Daten modellieren können. Diese Methoden ermöglichen es Ihnen, Vorhersageflächen für ganze Untersuchungsgebiete basierend auf Mengen von bekannten Punkten im geografischen Raum zu erstellen. Arbeiten mit Clustering-, Klassifizierungs- und maschinellen Lernmethoden

Maschinelles Lernen ist die Anwendung von Rechenalgorithmen, um aus Rohdatensätzen zu lernen (oder daraus Muster abzuleiten).

Clustering ist eine besondere Art des maschinellen Lernens - unbeaufsichtigtes maschinelles Lernen, um genau zu sein, was bedeutet, dass die Algorithmen von unbeschrifteten Daten lernen müssen und daher inferenzielle Methoden verwenden müssen, um Korrelationen. Klassifikation

wird hingegen als überwachtes maschinelles Lernen bezeichnet, was bedeutet, dass die Algorithmen von markierten Daten lernen. Die folgenden Beschreibungen führen einige der grundlegendsten Clustering- und Klassifizierungsansätze ein: k-means clustering:

Im Allgemeinen verwenden Sie k-means-Algorithmen, um Datenpunkte eines Datensatzes basierend auf den nächstgelegenen Mittelwerten in Cluster zu unterteilen. Um die optimale Aufteilung Ihrer Datenpunkte in Cluster zu bestimmen, so dass der Abstand zwischen Punkten in jedem Cluster minimiert wird, können Sie k-means-Clustering verwenden. Nächste Nachbaralgorithmen:
Der Zweck einer Nearest-Neighbour-Analyse besteht darin, entweder nach einem nächsten Punkt im Raum oder einem nächsten numerischen Wert zu suchen und ihn zu lokalisieren, abhängig von dem Attribut, das Sie für die Vergleichsgrundlage verwenden. Kerndichte-Schätzung:
Eine alternative Methode zum Identifizieren von Clustern in Ihren Daten ist die Verwendung einer Dichte-Glättungsfunktion. Kernel-Dichte-Schätzung (KDE) funktioniert durch Platzieren eines -Kernels einer Gewichtungsfunktion, die für die Quantifizierung der Dichte nützlich ist - an jedem Datenpunkt im Datensatz, und dann die Kernel summieren, um eine Kerndichte-Schätzung für die Gesamtheit zu erzeugen. Region. Mathematische Methoden im Mix behalten

Über den Wert von Statistiken in der Praxis der Datenwissenschaft wird viel gesagt, aber angewandte mathematische Methoden werden selten erwähnt. Offen gesagt ist die Mathematik die Grundlage aller quantitativen Analysen. Seine Bedeutung sollte nicht unterschätzt werden. Die beiden folgenden mathematischen Methoden sind besonders nützlich in der Datenwissenschaft.

Multikriterielle Entscheidungsfindung (MCDM):

MCDM ist ein mathematischer Entscheidungsmodellierungsansatz, den Sie verwenden können, wenn Sie mehrere Kriterien oder Alternativen haben, die Sie bei einer Entscheidung gleichzeitig bewerten müssen. Markov-Ketten
: Eine Markov-Kette ist eine mathematische Methode, die eine Reihe von zufällig generierten Variablen verkettet, die den gegenwärtigen Zustand repräsentieren, um zu modellieren, wie Änderungen in aktuellen Zustandsvariablen zukünftige Zustände beeinflussen.