Video: Konfidenzintervall bestimmen, TEIL1, Schätzen | Mathe by Daniel Jung 2024
Die statistische Analyse ist weit davon entfernt, ein neues Kind zu sein, Und es ist sicherlich eine alte Nachricht, dass es darauf ankommt, große Datenmengen zu verarbeiten, um neue Erkenntnisse zu gewinnen. Die Datenmenge, die traditionell von diesen Systemen verarbeitet wird, liegt jedoch zwischen 10 und 100 (oder Hunderten von) Gigabytes - also nicht den Terabyte- oder Petabyte-Bereichen, die heute zu sehen sind.
Und es erforderte oft eine teure symmetrische Multi-Processing (SMP) -Maschine mit so viel Speicher wie möglich, um die zu analysierenden Daten zu halten. Das liegt daran, dass viele der Algorithmen, die von den analytischen Ansätzen verwendet wurden, ziemlich "rechenintensiv" waren und entworfen wurden, um im Speicher zu laufen - da sie mehrere und oft häufige Durchläufe durch die Daten erfordern.
Angesichts der teuren Hardware und des ziemlich hohen Engagements in Bezug auf Zeit und Arbeitsspeicher versuchten die Leute, die Analysearbeiten etwas vernünftiger zu gestalten, indem sie nur eine Stichprobe der Daten analysierten. Die Idee bestand darin, die Berge auf Datenbergen zu bewahren, die sicher in Data Warehouses gestapelt waren, und nur eine statistisch signifikante Stichprobe der Daten aus ihren Repositories in eine statistische Engine zu verschieben.
Während das Sampling in der Theorie eine gute Idee ist, ist dies in der Praxis oft eine unzuverlässige Taktik. Die Suche nach einer statistisch signifikanten Stichprobe kann für dünn besetzte und / oder verzerrte Datensätze, die recht häufig auftreten, eine Herausforderung darstellen. Dies führt zu schlecht beurteilten Stichproben, die Ausreißer und anomale Datenpunkte einführen können und wiederum die Ergebnisse Ihrer Analyse beeinflussen können.
