Video: Time Series Forecasting Theory | AR, MA, ARMA, ARIMA | Data Science 2024
Das Konvertieren von statistischen Modellen in eine parallele Ausführung ist eine anspruchsvolle Aufgabe. In dem traditionellen Paradigma für die parallele Programmierung wird der Speicherzugriff durch die Verwendung von Threads reguliert - Teilprozesse, die vom Betriebssystem erzeugt werden, um einen einzelnen gemeinsam genutzten Speicher über mehrere Prozessoren zu verteilen.
Faktoren wie Racebedingungen zwischen konkurrierenden Threads - wenn zwei oder mehr Threads versuchen, gemeinsam genutzte Daten gleichzeitig zu ändern - können die Performance Ihres Algorithmus beeinflussen und die Genauigkeit der statistischen Ergebnisse beeinflussen, die Ihr Programm ausgibt - insbesondere für lang andauernde Analysen großer Probensätze.
Eine pragmatische Herangehensweise an dieses Problem besteht darin, anzunehmen, dass nicht viele Statistiker die Besonderheiten von MapReduce kennen (und umgekehrt), noch können Sie erwarten, dass sie alle Fallstricke kennen. diese parallele Programmierung beinhaltet. Mitwirkende an dem Hadoop-Projekt haben (und entwickeln weiterhin) statistische Werkzeuge unter Berücksichtigung dieser Gegebenheiten.
Das Fazit: Hadoop bietet viele Lösungen zur Implementierung der zur statistischen Modellierung und Analyse erforderlichen Algorithmen, ohne den Statistiker mit nuancierten Parallelprogrammierungsüberlegungen zu überlasten.
