Big Data ist nicht nur ein moderner Fad - Dummies

Wissenschaftler begannen jahrelang mit beeindruckenden Datenmengen zu kämpfen, bevor jemand den Begriff prägte. Große Daten. Zu ​​diesem Zeitpunkt produzierte das Internet nicht die riesigen Summen für Daten, die es heute leistet. Es ist nützlich sich daran zu erinnern, dass Big Data nicht einfach nur eine Modeerscheinung ist, die von Software- und Hardwareanbietern erstellt wurde, sondern eine Basis in vielen der folgenden Felder hat:

• Astronomie: Betrachten wir die Daten von Raumfahrzeugen. Voyager oder Galileo) und alle Daten von Radioteleskopen, die spezielle Antennen sind, um Funkwellen von astronomischen Körpern zu empfangen. Ein bekanntes Beispiel ist das Projekt Search for Extraterrestrial Intelligence (SETI), das nach außerirdischen Signalen sucht, indem es aus dem Weltraum kommende Radiofrequenzen beobachtet. Die Menge der empfangenen Daten und die Rechenleistung, mit der ein Teil des Himmels eine Stunde lang analysiert wird, ist beeindruckend. Wenn Außerirdische da draußen sind, ist es sehr schwer, sie zu entdecken. (Der Film Contact untersucht, was passieren könnte, wenn Menschen tatsächlich ein Signal abfangen.)
• Meteorologie: Denken Sie darüber nach, das Wetter für die nächste Zeit vorherzusagen, da viele erforderliche Maßnahmen erforderlich sind, wie Temperatur, atmosphärischer Druck, Feuchtigkeit, Winde und Niederschlag zu verschiedenen Zeiten, Orten und Höhen. Wettervorhersage ist wirklich eines der ersten Probleme in Big Data und ziemlich relevant. Nach Angaben von Weather Analytics, einem Unternehmen, das Klimadaten bereitstellt, werden mehr als 33 Prozent des weltweiten Bruttoinlandsprodukts (BIP) davon bestimmt, wie sich die Wetterbedingungen auf Landwirtschaft, Fischerei, Tourismus und Transport auswirken, um nur einige zu nennen. Die ersten Supercomputer dieser Zeit wurden bis in die 1950er Jahre zurückverfolgt, um so viele Daten wie möglich zu verarbeiten. In der Meteorologie gilt: Je mehr Daten, desto genauer die Vorhersage. Das ist der Grund, warum alle mehr Speicher- und Verarbeitungskapazitäten anhäufen, wie Sie in dieser Geschichte über die Korean Meteorological Association für Wettervorhersagen und den Klimawandel lesen können.
• Physik: Betrachten Sie die großen Datenmengen, die durch Experimente mit Teilchenbeschleunigern erzeugt wurden, um die Struktur von Materie, Raum und Zeit zu bestimmen. Zum Beispiel erzeugt der Large Hadron Collider, der größte Teilchenbeschleuniger, der je erzeugt wurde, jedes Jahr 15PB (Petabyte) an Daten als Ergebnis von Teilchenkollisionen.
• Genomics: Die Sequenzierung eines einzelnen DNA-Strangs, was bedeutet, die genaue Reihenfolge der vielen Kombinationen der vier Basen - Adenin, Guanin, Cytosin und Thymin - zu bestimmen, die die Struktur des Moleküls bilden, erfordert ziemlich viel von Dateien.Zum Beispiel kann ein einzelnes Chromosom, eine Struktur, die die DNA in der Zelle enthält, 50 MB bis 300 MB erfordern. Ein Mensch hat 46 Chromosomen, und die DNA-Daten für nur eine Person verbrauchen eine ganze DVD. Man stelle sich die massive Speicherung vor, die erforderlich ist, um die DNA-Daten einer großen Anzahl von Menschen zu dokumentieren oder andere Lebensformen auf der Erde zu sequenzieren.
• Ozeanographie: Wegen der vielen Sensoren, die in den Ozeanen zur Messung von Temperatur, Strömung und, mit Hilfe von Hydrophonen, sogar Geräusche zur akustischen Überwachung für wissenschaftliche Zwecke (Entdeckung von Fischen, Walen und Plankton) und militärische Verteidigungszwecke eingesetzt werden (Suche nach hinterhältigen U-Booten aus anderen Ländern). Sie können einen kurzen Blick auf dieses alte Überwachungsproblem werfen, das komplexer und digitaler wird.
• Satelliten: Die Aufnahme von Bildern aus dem gesamten Globus und deren Rückübertragung auf die Erde zur Überwachung der Erdoberfläche und ihrer Atmosphäre ist kein neues Geschäft (TIROS 1, der erste Satellit, der Bilder und Daten zurücksendet, stammt aus dem Jahr 1960). Im Laufe der Jahre hat die Welt jedoch mehr als 1.400 aktive Satelliten gestartet, die Erdbeobachtung durchführen. Die Menge der auf der Erde ankommenden Daten ist erstaunlich und dient sowohl militärischen (Überwachungs-) als auch zivilen Zwecken, z. B. der Verfolgung der wirtschaftlichen Entwicklung, der Überwachung der Landwirtschaft und der Überwachung von Veränderungen und Risiken. Der Satellit Sentinel 1A einer einzigen europäischen Weltraumorganisation erzeugt während zwei Betriebsjahren 5 PB an Daten.

Begleitend zu diesen älteren Datentrends werden jetzt neue Datenmengen vom Internet generiert oder übertragen, wodurch neue Probleme entstehen und Lösungen in Bezug auf die Datenspeicherung und Algorithmen für die Verarbeitung erforderlich sind:

• As Wie die National Security Agency (NSA) berichtete, betrug die Menge der Informationen, die täglich aus der ganzen Welt durch das Internet flogen, im Jahr 2013 1 826PB an Daten, und 1,6 Prozent davon bestanden aus E-Mails und Telefonanrufen… Um die nationale Sicherheit zu gewährleisten, muss die NSA den Inhalt von mindestens 0,025 Prozent aller E-Mails und Anrufe überprüfen (auf der Suche nach Schlüsselwörtern, die so etwas wie eine terroristische Verschwörung anzeigen könnten). Das beläuft sich immer noch auf 25PB pro Jahr, was 37.500 CD-ROMs pro Jahr an gespeicherten und analysierten Daten entspricht (und das wächst). Sie können die ganze Geschichte lesen.
• Das Internet der Dinge (IoT) wird Realität. Vielleicht haben Sie den Begriff in den letzten 15 Jahren schon oft gehört, aber jetzt wird das Wachstum der Dinge, die mit dem Internet verbunden sind, explodieren. Die Idee ist, Sensoren und Transmitter auf alles zu legen und die Daten zu nutzen, um besser zu kontrollieren, was in der Welt passiert, und um Objekte intelligenter zu machen. Sendevorrichtungen werden immer kleiner, billiger und weniger leistungsfordernd; manche sind schon so klein, dass sie überall hingelegt werden können. (Sehen Sie sich nur das von den Stanford-Ingenieuren entwickelte Funkgerät an.) Experten schätzen, dass es bis 2020 sechsmal so viele vernetzte Dinge auf der Erde geben wird, wie es Menschen geben wird, aber viele Forschungsunternehmen und Denkfabriken besuchen diese Zahlen bereits wieder…