Die Evolution von Distributed Computing für Big Data - Dummies

Hinter allen wichtigen Trends des letzten Jahrzehnts, einschließlich Serviceorientierung, Cloud Computing, Virtualisierung und Big Data ist eine grundlegende Technologie namens Distributed Computing. Einfach gesagt, ohne die Verbreitung von Rechenleistung wäre keiner dieser Fortschritte möglich.

Verteilte Datenverarbeitung ist eine Technik, die es einzelnen Computern ermöglicht, über geografische Gebiete hinweg so miteinander verbunden zu werden, als wären sie eine einzelne Umgebung. Sie finden viele verschiedene Implementierungen von verteiltem Rechnen. In einigen Topologien übermitteln einzelne Recheneinheiten einfach Nachrichten aneinander.

In anderen Situationen kann eine verteilte Computerumgebung Ressourcen teilen, die vom Speicher bis zu Netzwerken und Speicher reichen. Alle verteilten Berechnungsmodelle haben ein gemeinsames Attribut: Sie sind eine Gruppe von vernetzten Computern, die zusammenarbeiten, um eine Arbeitslast oder einen Prozess auszuführen.

DARPA und Big Data

Das bekannteste Distributed-Computing-Modell, das Internet, bildet die Grundlage für alles von E-Commerce über Cloud Computing bis hin zu Service Management und Virtualisierung. Das Internet wurde als ein von der US-amerikanischen DARPA finanziertes Forschungsprojekt konzipiert.

Es wurde entworfen, um ein vernetzendes Netzwerksystem zu schaffen, das nichtkommerzielle, kooperative Forschung unter Wissenschaftlern unterstützen würde. In den frühen Tagen des Internets waren diese Computer oft über Telefonleitungen verbunden! Wenn Sie diese Frustration nicht erlebt haben, können Sie sich nur vorstellen, wie langsam und zerbrechlich diese Verbindungen waren.

Mit der Weiterentwicklung der Technologie im Laufe des nächsten Jahrzehnts haben gemeinsame Protokolle wie Transmission Control Protocol (TCP) dazu beigetragen, die Technologie und das Netzwerk zu erweitern. Als das Internet Protocol (IP) hinzugefügt wurde, wurde das Projekt von einem geschlossenen Netzwerk für eine Sammlung von Wissenschaftlern zu einer potenziell kommerziellen Plattform für den weltweiten Transfer von E-Mails.

Während der 1980er Jahre entstanden neue internetbasierte Dienste auf dem Markt als kommerzielle Alternative zum DARPA-Netzwerk. Im Jahr 1992 verabschiedete der US-Kongress das Gesetz über Wissenschaftliche und Fortgeschrittene Technologien, das zum ersten Mal die kommerzielle Nutzung dieser leistungsfähigen Netzwerktechnologie ermöglichte. Mit seinem fortgesetzten explosiven Wachstum ist das Internet wirklich ein globales verteiltes Netzwerk und bleibt das beste Beispiel für die Macht des verteilten Computings.

Der Wert eines konsistenten Big-Data-Modells

Welchen Unterschied machte diese DARPA-geführte Anstrengung in der Bewegung zum verteilten Rechnen?Vor der Kommerzialisierung des Internet gab es Hunderte von Firmen und Organisationen, die eine Software-Infrastruktur erstellten, die eine gemeinsame Plattform zur Unterstützung einer hochgradig verteilten Rechnerumgebung bereitstellen sollte.

Jeder Anbieter oder jede Standardorganisation hat jedoch eigene Remote Procedure Calls (RPCs) entwickelt, die alle Kunden, kommerzielle Softwareentwickler und Partner übernehmen und unterstützen müssen. RPC ist ein primitiver Mechanismus, der verwendet wird, um Arbeit an einen Remote-Computer zu senden. In der Regel muss auf die Remote-Arbeit gewartet werden, bevor andere Arbeiten fortgesetzt werden können.

Da Anbieter proprietäre RPCs implementierten, wurde es unpraktisch, sich vorzustellen, dass jedes Unternehmen einen universellen Standard für verteiltes Rechnen schaffen könnte. Mitte der 1990er Jahre ersetzten die Internetprotokolle diese primitiven Ansätze und wurden zur Grundlage für das, was heute verteiltes Rechnen ist. Nachdem dies geklärt war, begann der Einsatz dieses Ansatzes für vernetztes Computing zu florieren.