Google Dremel und Hadoop - Dummies

Für die meisten Menschen erinnert der Begriff Dremel an ein handliches Hochgeschwindigkeitswerkzeug mit niedrigem Drehmoment, das für eine Vielzahl von Arbeiten rund ums Haus gut funktioniert. Aber wussten Sie, dass Google einen Dremel erstellt hat? Anstatt ein anderes handgehaltenes mechanisches Werkzeug herzustellen, entschied sich Google jedoch für ein schnelles Softwaretool für die interaktive Analyse von Big Data. Wie bei anderen Google-Technologien, die Teile des Hadoop-Ökosystems inspirierten, z. B. MapReduce, Google File System (HDFS) und BigTable (siehe HBase), entwickelte Google Dremel zur internen Verwendung und veröffentlichte dann ein Papier, das den Zweck und das Design beschreibt. der Technologie. (Mit anderen Worten, Dremel ist nichts, was Sie herunterladen und auf Ihrem Hadoop-Cluster verwenden können.)

Google verwendet Dremel für eine Vielzahl von Aufgaben, einschließlich der Analyse von Web-gecrawlten Dokumenten, der Erkennung von E-Mail-Spam, der Bearbeitung von Anwendungs-Absturzberichten und mehr. GoQs BigQuery-Dienst verwendet tatsächlich Dremel.

Google hat die MapReduce-Technologie für die Stapelverarbeitung über riesige Datensätze entwickelt. Mit der Weiterentwicklung ihrer Anforderungen hat sich auch ihre Technologie weiterentwickelt und Google entschied sich, Dremel zu entwickeln, um die Leistung bei interaktiven Abfragen gegen große Datensätze zu verbessern.

Der MapReduce-Ansatz bietet Skalierbarkeit und Abfragefehlertoleranz, ist jedoch grundsätzlich ein Batch-basiertes System, also Antwortzeiten für kleinere Abfragen (z. B. Abfragen, die nur einen kleinen Teil eines gesamten Datensatzes betreffen) sind oft nicht das, was Nutzer erwarten.

Google hat daher eine Abfrageausführungstechnologie für interaktive Abfragen entwickelt, die auf Zwischenservern auf dem Google-Dateisystem (GFS) ausgeführt wird. (Denken Sie daran, dass GFS die Inspiration für Apache HDFS war, das das Dateisystem von Hadoop ist.)

Ähnlich wie bei Hive verwendet Dremel eine SQL-ähnliche Sprache (die meisten Programmierer kennen sich aus) und verwendet ein säulenartiges Datenlayout. Dremel bietet eine schnelle, interaktive Abfrageantwort unter Beibehaltung der Skalierbarkeit und Fehlertoleranz von Apache Hive. Im Dremel-Whitepaper erklärt Google, wie es Aggregationsabfragen innerhalb von Sekunden über Tabellen mit einer Billion Zeilen durchführen kann - überhaupt nicht schlecht.

So hat Google seine Dremel-Technologie, die intern verwendet wird, aber dann gibt es alle Technologien, die von Dremel "inspiriert" sind (wie alle diese Parfums "inspiriert von" Drakkar Noir).