Zuhause Persönliche Finanzen Hadoop als abfragbares Archiv von Cold Warehouse Daten - Dummies

Hadoop als abfragbares Archiv von Cold Warehouse Daten - Dummies

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025

Video: HDInsight: Fast Interactive Queries with Hive on LLAP | Azure Friday 2025
Anonim

genannt) eine Vielzahl von Studien zeigen, dass die meisten Daten in einem Enterprise Data Warehouse selten abgefragt werden. Datenbankanbieter haben auf solche Beobachtungen geantwortet, indem sie ihre eigenen Methoden implementierten, um zu sortieren, welche Daten wo platziert werden.

Eine Methode ordnet das Datenuniversum in Bezeichnungen von warm, warm oder kalt, wobei heiß Daten (manchmal aktiv Daten genannt wird häufig verwendet, warm Daten werden von Zeit zu Zeit verwendet und kalt Daten wird selten verwendet. Die vorgeschlagene Lösung für viele Anbieter ist die kalten Daten auf langsameren Festplatten in den Data Warehouse-Gehäusen zu speichern oder clevere Caching-Strategien zu erstellen, um die heißen Daten im Speicher zu halten, unter anderem.

Das Problem bei diesem Ansatz ist, dass, obwohl langsamer Speicher verwendet wird, es immer noch teuer ist, kalte, selten benutzte Daten in einem Lagerhaus zu speichern. Lizenzierung von Hardware und Software. Gleichzeitig werden kalte und ruhende Daten oft auf Band archiviert.

Dieses traditionelle Archivierungsmodell bricht zusammen, wenn Sie alle kalte Daten kosteneffizient und relativ effizient abfragen wollen - ohne alte Bänder anzufordern.

Wenn Sie sich die Kosten und die Betriebseigenschaften von Hadoop ansehen, scheint es tatsächlich das neue Backup-Band zu werden. Hadoop ist vor allem deshalb preiswert, weil Hadoop-Systeme so konzipiert sind, dass sie einen geringeren Hardware-Grad verwenden als normalerweise in Data-Warehouse-Systemen. Eine weitere signifikante Kosteneinsparung ist die Softwarelizenzierung.

Kommerzielle Hadoop-Distributionslizenzen erfordern einen Bruchteil der Kosten von relationalen Data-Warehouse-Softwarelizenzen, die dafür berüchtigt sind, teuer zu sein. Aus betrieblicher Sicht ist Hadoop so konzipiert, dass es einfach skaliert werden kann, indem einem vorhandenen Cluster zusätzliche Slave-Knoten hinzugefügt werden. Und da Slave-Knoten hinzugefügt werden und Datensätze immer umfangreicher werden, ermöglichen die Datenverarbeitungs-Frameworks von Hadoop Ihren Anwendungen, die erhöhte Arbeitslast nahtlos zu bewältigen.

Hadoop stellt eine einfache, flexible und kostengünstige Möglichkeit dar, die Verarbeitung über buchstäblich Tausende von Servern zu beschleunigen.

Mit seiner skalierbaren und kostengünstigen Architektur scheint Hadoop die perfekte Wahl für die Archivierung von Warehouse-Daten zu sein … abgesehen von einer kleinen Sache: Der größte Teil der IT-Welt läuft auf SQL, und SQL allein ist nicht gut mit Hadoop kompatibel…

Sicherlich ist die Hadoop-freundliche NoSQL-Bewegung am Leben und gut, aber die meisten Power-User verwenden jetzt SQL mit üblichen, standardmäßigen Toolsets, die SQL-Abfragen unter der Haube erzeugen - Produkte wie Tableau, Microsoft Excel und IBM Cognos BI.

Es stimmt, dass das Hadoop-Ökosystem Hive enthält, aber Hive unterstützt nur eine Untermenge von SQL, und obwohl sich die Leistung verbessert (zusammen mit der SQL-Unterstützung), ist es bei der Beantwortung kleinerer Anfragen nicht annähernd so schnell wie bei relationalen Systemen. In letzter Zeit gab es große Fortschritte beim SQL-Zugriff auf Hadoop, wodurch Hadoop zum neuen Ziel für Online-Data-Warehouse-Archive wurde.

Je nach Hadoop-Anbieter werden SQL- (oder SQL-ähnliche) APIs verfügbar, sodass die gängigen Reporting- und Analysetools SQL-Standards für die Ausführung von Daten ausgeben können. Hadoop. Zum Beispiel hat IBM seine Big SQL API, Cloudera Impala und Hive selbst, über die Hortonworks Stinger Initiative, wird zunehmend SQL-konform.

Obwohl es verschiedene Sichtweisen gibt (einige zielen darauf ab, Hive zu erweitern, einige, Hive zu erweitern und andere, eine Alternative zu bieten), versuchen all diese Lösungen, zwei Probleme anzugehen: MapReduce ist eine schlechte Lösung für die Ausführung kleinerer Abfragen. Der SQL-Zugriff ist vorerst der Schlüssel dafür, dass IT-Mitarbeiter ihre vorhandenen SQL-Kenntnisse nutzen können, um die in Hadoop gespeicherten Daten zu optimieren.

Hadoop als abfragbares Archiv von Cold Warehouse Daten - Dummies

Die Wahl des Herausgebers

Wie man Dateien in C ++ kopiert - Dummies

Wie man Dateien in C ++ kopiert - Dummies

Ah, eine Datei kopieren - etwas so einfaches, es passiert alles Zeit. Kopiere diese Datei dorthin; Kopieren Sie diese Datei hier. Aber was genau passiert, wenn Sie eine Datei kopieren? Sie erstellen tatsächlich eine neue Datei und füllen diese mit dem gleichen Inhalt wie die Originaldatei. Und wie machst du das? Nun, ...

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Anleitung zum Erstellen eines Verzeichnisses in C ++ - Dummies

Wenn Sie ein Verzeichnis erstellen möchten, können Sie das MKdir Funktion. Wenn die Funktion das Verzeichnis für Sie erstellen kann, gibt sie eine 0 zurück. Andernfalls wird ein Wert ungleich Null zurückgegeben. (Wenn Sie es ausführen, erhalten Sie eine -1, aber Ihre beste Wette - immer - ist es, gegen 0 zu testen.) Hier ist einige ...

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Wie man eine einfache mathematische Vorlage in C ++ - Dummies

Mit einer mathematischen Vorlage erstellt, die man normalerweise benötigt Zugriff auf eine Vielzahl von Berechnungen, aber nur jeweils eine oder zwei dieser Berechnungen. Zum Beispiel, wenn jemand Ihre Hypothek berechnet, muss er die Amortisationsrechnung nicht kennen. Die Person kann jedoch die Amortisationsberechnung benötigen, wenn Sie mit ...

Die Wahl des Herausgebers

ASVAB: Lesen für die Studie - Dummies

ASVAB: Lesen für die Studie - Dummies

Lesen für die Zwecke des Studiums der ASVAB ist eine andere Art des Lesens. Leseverständnis erfordert nur, dass Sie Informationen lange genug im Kurzzeitgedächtnis speichern, um einige Sekunden später eine Frage zu beantworten. Zum Lesen für die Zwecke des Studiums müssen Sie wichtige Informationen in Ihr Langzeitgedächtnis einpflegen - ...

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

ASVAB Mathematik Wissenspraxis: Ungleichungen - Dummies

Als wäre Algebra nicht anspruchsvoll genug, einige Fragen zur Der Subtest Mathematik auf dem ASVAB wird auch eine Ungleichheit einwerfen - nur um sicherzustellen, dass Sie aufmerksam sind. Wie erkennst du eine Ungleichheit? Halten Sie Ausschau nach Fragen mit mehr als oder weniger als Symbolen oder nach Graphen, die eine Zahlenlinie mit einem ...

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

ASVAB Mathematische Wissenspraxis: Fraktionen - Dummies

Der Subtest Mathematikwissen auf dem ASVAB wird Fragen beinhalten, die Sie fragen mit Teilen eines Ganzen oder Fraktionen arbeiten. Diese Fragen können das Multiplizieren, Dividieren, Addieren, Subtrahieren und Konvertieren von Brüchen beinhalten, ähnlich den folgenden Übungsfragen. Übungsfragen Welche Fraktionen sind nicht gleichwertig? Gegeben einfach den Ausdruck. Antworten und Erklärungen Das richtige ...

Die Wahl des Herausgebers

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Hinzufügen von Flash-Audio- und Videodateien in Dreamweaver - Dummies

Adobe besitzt sowohl Flash als auch Dreamweaver Daher finden Sie großartige Unterstützung für Flash-Dateien in Dreamweaver. Das Dialogfeld "FLV einfügen" erleichtert das Festlegen von Parametern für Flash. Dreamweaver erkennt sogar automatisch die Größe von Flash-Videodateien. Sie können Flash auch zum Erstellen und Einfügen von Audiodateien verwenden, wobei nur der Player angezeigt wird.

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Einstellen von Bildhelligkeit und -kontrast in Dreamweaver - Dummies

Dreamweaver bietet Werkzeuge zum Erstellen von Bildern Einstellungen, einschließlich der Helligkeit und des Kontrastes. Durch die Anpassung der Bildhelligkeit können Sie die Gesamtlichtmenge in einem Bild ändern. Kontrast steuert den Unterschied zwischen hellen und dunklen Bereichen eines Bildes. Wenn Sie die Dreamweaver-Bearbeitungswerkzeuge verwenden, wird das Bild dauerhaft geändert, wenn die Seite ...

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Hinzufügen von Bildern zu Ihrer Website in Dreamweaver - Dummies

Wenn Sie Ihrer Website ein Bild hinzufügen, erscheint anfangs fast magisch, weil der Prozess mit Dreamweaver so einfach ist. Die Herausforderung bei Webgrafiken besteht darin, sie nicht zu Ihren Seiten hinzuzufügen, sondern gut aussehende Bilder zu erstellen, die schnell im Browser Ihres Viewers geladen werden. Sie benötigen ein anderes Programm wie Photoshop, Photoshop Elements oder Fireworks, um ...