Inhaltsverzeichnis:
- Big-Data-Grundlagen: RDBMS und persistente Daten
- Big-Data-Grundlagen: RDBMS und Tabellen
- PostgreSQL, eine relationale Open-Source-Datenbank
Video: Sqoop Import and Export data from RDMBS and HDFS 2024
zu kombinieren. Big Data wird zu einem wichtigen Element in der Art und Weise, wie Unternehmen hochvolumige Daten mit der richtigen Geschwindigkeit nutzen, um spezifische Daten zu lösen. Probleme. Relationale Datenbank-Management-Systeme sind wichtig für dieses hohe Volumen. Big Data lebt nicht isoliert. Um effektiv zu sein, müssen Unternehmen oft in der Lage sein, die Ergebnisse der Big Data-Analyse mit den Daten zu kombinieren, die im Unternehmen vorhanden sind.
Big-Data-Grundlagen: RDBMS und persistente Daten
Eine der wichtigsten Dienste, die von betrieblichen Datenbanken (auch Datenspeicher genannt) bereitgestellt werden, ist Persistenz. Persistenz garantiert, dass die in einer Datenbank gespeicherten Daten nicht ohne Berechtigungen geändert werden und dass sie solange verfügbar sind, wie es für das Unternehmen wichtig ist. Was nützt eine Datenbank, wenn man nicht darauf vertrauen kann, dass sie die darin enthaltenen Daten schützt?
In Anbetracht dieser wichtigsten Anforderung müssen Sie sich überlegen, welche Art von Daten Sie beibehalten möchten, wie Sie darauf zugreifen und sie aktualisieren können und wie Sie sie für geschäftliche Entscheidungen verwenden können. Auf dieser grundlegendsten Ebene ist die Auswahl Ihrer Datenbank-Engines entscheidend für Ihren Gesamterfolg mit Ihrer Big Data-Implementierung.
Obwohl die zugrundeliegende Technologie schon eine ganze Weile existiert, sind viele dieser Systeme heute in Betrieb, da die von ihnen unterstützten Unternehmen stark von den Daten abhängig sind. Sie zu ersetzen, wäre vergleichbar mit dem Wechsel der Triebwerke eines Flugzeugs auf einem transozeanischen Flug.
Big-Data-Grundlagen: RDBMS und Tabellen
Relationale Datenbanken bauen auf einer oder mehreren Relationen auf und werden durch Tabellen dargestellt. Diese Tabellen werden durch ihre Spalten definiert und die Daten werden in den Zeilen gespeichert. Der Primärschlüssel ist häufig die erste Spalte in der Tabelle. Die Konsistenz der Datenbank und ein großer Teil ihres Wertes werden durch "Normalisierung" der Daten erreicht. Normalisierte Daten wurden aus dem nativen Format in ein gemeinsames, vereinbartes Format konvertiert.
In einer Datenbank haben Sie beispielsweise "Telefon" als XXX-XXX-XXXX und in einem anderen XXXXXXXXX. Um eine konsistente Ansicht der Informationen zu erhalten, muss das Feld auf ein anderes Formular normalisiert werden. Für die Normalisierung existieren fünf Stufen von Standards. Die Wahl der Normalform wird oft dem Datenbankdesigner zugewiesen. Die Sammlung von Tabellen, Schlüsseln, Elementen usw. wird als Datenbank -Schema bezeichnet.
Im Laufe der Jahre hat sich die Structured Query Language (SQL) im Lock-Schritt mit der RDBMS-Technologie weiterentwickelt und ist der am weitesten verbreitete Mechanismus zum Erstellen, Abfragen, Warten und Betreiben von relationalen Datenbanken.
In kleinen und großen Unternehmen werden die meisten ihrer wichtigen betrieblichen Informationen wahrscheinlich in RDBMS gespeichert. Viele Unternehmen haben unterschiedliche RDBMS für verschiedene Bereiche ihres Geschäfts. Transaktionsdaten können in der Datenbank eines Lieferanten gespeichert werden, während Kundeninformationen in einem anderen gespeichert werden können.
Es ist unwahrscheinlich, dass Sie RDBMSs für den Kern der Implementierung verwenden, aber Sie müssen sich auf die in RDBMS gespeicherten Daten verlassen, um für das Geschäft mit Big Data den höchsten Wert zu schaffen.
PostgreSQL, eine relationale Open-Source-Datenbank
Bei der Implementierung großer Datenmengen werden Sie wahrscheinlich auf PostgreSQL stoßen, eine weit verbreitete, quelloffene relationale Datenbank. Mehrere Faktoren tragen zur Popularität von PostgreSQL bei. Als ein RDBMS mit Unterstützung für den SQL-Standard erledigt es all die Dinge, die in einem Datenbankprodukt erwartet werden, sowie seine Langlebigkeit und seine weite Verwendung, die es "kampftestgeprüft" haben. "Es ist auch auf fast allen Betriebssystemen verfügbar, vom PC bis zum Mainframe.
Die Grundlagen zu vermitteln und dies zuverlässig zu tun, ist nur ein Teil der Geschichte. PostgreSQL unterstützt auch viele Funktionen, die nur in teuren, proprietären RDBMSs zu finden sind, darunter:
-
Fähigkeit, "Objekte" innerhalb des relationalen Schemas direkt zu behandeln
-
Fremdschlüssel (Referenzschlüssel von einer Tabelle in einer anderen)
-
Trigger (Ereignisse) verwendet, um eine gespeicherte Prozedur automatisch zu starten.
-
Komplexe Abfragen (Unterabfragen und Joins über diskrete Tabellen hinweg)
-
Transaktionsintegrität
-
Multiversions-Parallelitätssteuerung
Die eigentliche Stärke von PostgreSQL ist seine Erweiterbarkeit. Benutzer und Datenbankprogrammierer können neue Funktionen hinzufügen, ohne den grundlegenden Betrieb oder die Zuverlässigkeit der Datenbank zu beeinträchtigen. Mögliche Erweiterungen sind:
-
Datentypen
-
Operatoren
-
Funktionen
-
Indizierungsmethoden
-
Prozedursprachen
Diese hohe Anpassungsfähigkeit macht PostgreSQL erstrebenswert, wenn starre, proprietäre Produkte nicht funktionieren. Es ist unendlich erweiterbar.
Schließlich erlaubt die PostgreSQL-Lizenz die Änderung und Verteilung in beliebiger Form, als offene oder geschlossene Quelle. Alle Änderungen können privat aufbewahrt oder mit der Community geteilt werden.