Schicht 0 des Big Data Stack: Redundante physikalische Infrastruktur - Dummies

Auf der untersten Ebene des Big-Data-Stacks befindet sich die physische Infrastruktur. Ihr Unternehmen verfügt möglicherweise bereits über ein Rechenzentrum oder hat Investitionen in physische Infrastrukturen getätigt. Daher möchten Sie einen Weg finden, die vorhandenen Ressourcen zu nutzen.

Big Data-Implementierungen haben sehr spezifische Anforderungen an alle Elemente in der Referenzarchitektur. Daher müssen Sie diese Anforderungen Layer für Layer prüfen, um sicherzustellen, dass Ihre Implementierung entsprechend den Anforderungen Ihres Unternehmens ausgeführt und skaliert wird.

Eine priorisierte Liste von Big-Data-Prinzipien sollte Aussagen über Folgendes enthalten:

• Leistung: Wie schnell muss das System reagieren? Die Leistung, auch als Latenzzeit bezeichnet, wird häufig auf der Grundlage einer einzelnen Transaktion oder einer Abfrageanforderung gemessen.

• Verfügbarkeit: Benötigen Sie eine 100-prozentige Verfügbarkeitsgarantie? Wie lange kann Ihr Unternehmen im Falle einer Dienstunterbrechung oder eines Dienstausfalls warten?

• Wie groß muss Ihre Infrastruktur sein? Wie viel Speicherplatz wird heute und in Zukunft benötigt? Wie viel Rechenleistung benötigen Sie? In der Regel müssen Sie entscheiden, was Sie benötigen, und dann etwas mehr Maßstab für unerwartete Herausforderungen hinzufügen. Flexibilität:

• Wie schnell können Sie der Infrastruktur mehr Ressourcen hinzufügen? Wie schnell kann sich Ihre Infrastruktur von Fehlern erholen?

  Kosten:

• Was können Sie sich leisten? Da es sich bei der Infrastruktur um eine Reihe von Komponenten handelt, können Sie möglicherweise das "beste" Netzwerk kaufen und sich dafür entscheiden, bei der Speicherung Geld zu sparen. Sie müssen für jeden dieser Bereiche Anforderungen im Kontext eines Gesamtbudgets festlegen und dann gegebenenfalls Kompromisse eingehen. Da es bei großen Datenmengen um Hochgeschwindigkeits-, Volumen- und Datenvielfalt geht, wird die physische Infrastruktur die Implementierung buchstäblich "umsetzen". Die meisten Big-Data-Implementierungen müssen hoch verfügbar sein, daher müssen die Netzwerke, Server und physischen Speicher sowohl robust als auch redundant sein. Ausfallsicherheit und Redundanz sind miteinander verknüpft.

Eine Infrastruktur oder ein System ist resistent gegenüber Ausfällen oder Änderungen, wenn genügend redundante Ressourcen vorhanden sind und bereit sind, in Aktion zu treten. Die Redundanz stellt sicher, dass eine solche Fehlfunktion keinen Ausfall verursacht. Ausfallsicherheit hilft, einzelne Fehlerquellen in Ihrer Infrastruktur zu beseitigen.

In großen Rechenzentren mit Business-Continuity-Anforderungen ist die Redundanz größtenteils vorhanden und kann genutzt werden, um eine Big Data-Umgebung zu schaffen.Bei neuen Implementierungen sind die Entwickler dafür verantwortlich, die Bereitstellung basierend auf Kosten und Leistung auf die Anforderungen des Unternehmens abzustimmen.

Dies bedeutet, dass die technische und betriebliche Komplexität hinter einer Sammlung von Diensten verborgen ist, die jeweils spezifische Bedingungen für Leistung, Verfügbarkeit, Wiederherstellung usw. aufweisen. Diese Bedingungen werden in Service-Level-Agreements (SLAs) beschrieben und in der Regel zwischen dem Service-Provider und dem Kunden ausgehandelt, wobei Strafen für die Nichteinhaltung vereinbart werden.

Dadurch entsteht ein virtuelles Rechenzentrum. Selbst mit diesem Ansatz sollten Sie immer noch wissen, was erforderlich ist, um eine Big Data-Bereitstellung zu erstellen und auszuführen, damit Sie die am besten geeignete Auswahl aus den verfügbaren Serviceangeboten treffen können. Trotz einer SLA hat Ihre Organisation immer noch die ultimative Verantwortung für die Leistung.

Physisch redundante Big-Data-Netzwerke

Netzwerke sollten redundant sein und über ausreichend Kapazität verfügen, um das erwartete Volumen und die erwartete Geschwindigkeit der eingehenden und ausgehenden Daten zusätzlich zum "normalen" Netzwerkverkehr zu bewältigen. Wenn Sie anfangen, Big Data zu einem integralen Bestandteil Ihrer Computerstrategie zu machen, ist es vernünftig zu erwarten, dass Volumen und Geschwindigkeit zunehmen.

Infrastrukturentwickler sollten diese erwarteten Erhöhungen planen und versuchen, physische Implementierungen zu erstellen, die "elastisch" sind. "Wenn der Netzwerkverkehr abnimmt und fliesst, nimmt auch die Menge der physischen Assets zu, die mit der Implementierung verbunden sind. Ihre Infrastruktur sollte Überwachungsfunktionen bieten, damit die Betreiber reagieren können, wenn mehr Ressourcen erforderlich sind, um Änderungen bei den Arbeitslasten zu bewältigen.

Verwalten von Big-Data-Hardware: Speicher und Server

Ebenso müssen die Hardware- (Speicher- und Server-) Assets eine ausreichende Geschwindigkeit und Kapazität aufweisen, um alle erwarteten Big-Data-Funktionen zu bewältigen. Es hat wenig Sinn, ein Hochgeschwindigkeitsnetzwerk mit langsamen Servern zu haben, da die Server höchstwahrscheinlich zu einem Engpass werden. Ein sehr schneller Satz von Speicher- und Computerservern kann jedoch die variable Netzwerkleistung überwinden. Natürlich funktioniert nichts, wenn die Netzwerkleistung schlecht oder unzuverlässig ist.

Big-Data-Infrastrukturoperationen

Eine weitere wichtige Überlegung ist die Verwaltung von Infrastrukturoperationen. Das größte Maß an Leistung und Flexibilität wird nur in einer gut verwalteten Umgebung vorhanden sein. Rechenzentrumsmanager müssen in der Lage sein, katastrophale Ausfälle vorherzusehen und zu verhindern, so dass die Integrität der Daten und durch die Erweiterung der Geschäftsprozesse erhalten bleibt. IT-Organisationen übersehen und unterinvestieren häufig in diesem Bereich.