Video: Apache Drill Introduction 2024
Apache Drill ist ein Kandidatenprojekt im Apache-Inkubator. Apache Drill ist jedoch nicht besonders kränklich. Die Kandidatentechnologien der Apache Software Foundation (ASF) beginnen alle als Inkubatorprojekte, bevor sie offizielle ASF-Technologien werden. Sie können über den Apache-Inkubator lesen. Sie können über Drill lesen.
Inspiriert von Googles Dremel-Technologie besteht das erklärte Leistungsziel von Drill darin, SQL-Abfragen für ein Petabyte oder mehr an Daten zu ermöglichen, die über 10 000 Server verteilt sind. Die Abbildung zeigt die Architektur von Apache Drill.
Sie können sehen, dass der Schlüssel zur Drill-Architektur die DrillBit-Server sind, die auf jedem Datenknoten bereitgestellt werden. Beachten Sie, dass jeder Server einen Abfrage-Parser, Compiler, Optimierer und Runtime enthält. Es gibt jedoch einen von den Zookeeper-Servern ernannten Master-DrillBit-Server, der die Ausführung der Abfragen überwacht und die Aufgabe übernimmt, die Zwischenergebnisse in einem einzigen Datensatz zusammenzufassen. Satz von Ausgabe.
Wie Dremel kann auch Drill mit MapReduce koexistieren und diese ergänzen, aber MapReduce wird nicht zur Ausführung von Abfragen verwendet, wie bei Apache Hive. Stattdessen wurden Ausführungsmaschinen, die Drillbits genannt werden, von Mitgliedern der Drill-Community entwickelt.
Diese Community zielt darauf ab, Anfragen mit geringer Latenz für Anwendungen wie Echtzeit-Business-Intelligence-Dashboards, Betrugserkennung und andere zeitkritische Anwendungsfälle bereitzustellen. Drill unterstützt verschachtelte Datentypen wie Avro, JSON und Google-Protokollpuffer. Diese geschachtelten Datentypen ermöglichen sehr große denormalisierte Tabellen.
Das Drill-Entwicklungsteam arbeitet auch daran, umfangreiche SQL-Unterstützung bereitzustellen, indem es die SQL2003-Konformität anstrebt. Beachten Sie schließlich, dass das Drill-Team HBase-Unterstützung bereitstellt, damit Benutzer HBase-Tabellen mit SQL abfragen können.
