Apache Drill: Riesige Datenmengen werden schneller verarbeitet

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

Artikel veröffentlicht am ,
Drill soll als Incubator-Projekt entwickelt werden.
Drill soll als Incubator-Projekt entwickelt werden. (Bild: Apache Software Foundation)

Zur Verwaltung riesiger Datenmengen nutzen viele Unternehmen Apache Hadoop, zur Analyse der Daten wird dann meist Mapreduce verwendet. Die Analyse ist jedoch bei bestimmten Anwendungen schlicht zu langsam, weshalb Google intern die Eigenentwicklung Dremel nutzt. Drill erweitert das frei zugängliche Dremel-Konzept leicht und soll zunächst als Incubator-Projekt der Apache-Foundation entwickelt werden.

Stellenmarkt
  1. Teamleiter (w/m/d) Cloudlösungen für die Energiewirtschaft - Digital Layer
    EnBW Energie Baden-Württemberg AG, Karlsruhe
  2. Senior Business Consultant Finance (w/m/d)
    WILO SE, Dortmund
Detailsuche

Zusätzlich zu den SQL-ähnlichen Sprachen, die Dremel und Google Bigquery nutzen, soll Drill weitere Abfragesprachen unterstützen, etwa jene, die in MongoDB verwendet wird. Ebenso soll Drill mit mehr Datenformaten umgehen können als Dremel. Insbesondere sollen sowohl spalten- als auch zeilenbasierte Formate unterstützt werden. Als Quellen für die Daten wird zunächst Hadoop eingesetzt.

Die ersten Arbeiten an der Implementierung stammen von dem Hadoop-Distributor Mapr. Mit der Übergabe des Quellcodes an die Apache-Sofware-Foundation sollen eine größere Entwicklercommunity und Synergien mit den Hadoop-Entwicklern entstehen.

Es ist sehr wahrscheinlich, dass Drill in das Incubator-Projekt der Apache-Software-Foundation aufgenommen wird.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Plugin-Hybride
Autoindustrie wehrt sich gegen höhere Förderauflagen

Die Regierung will die Förderung von Plugin-Hybriden nur noch von der Reichweite abhängig machen. Zudem werden künftig Kleinstautos gefördert.
Ein Bericht von Friedhelm Greis

Plugin-Hybride: Autoindustrie wehrt sich gegen höhere Förderauflagen
Artikel
  1. Windows und Office: Microsoft-Accounts funktionieren jetzt auch ohne Passwörter
    Windows und Office
    Microsoft-Accounts funktionieren jetzt auch ohne Passwörter

    Das passwortlose Anmelden wird bereits von einigen Microsoft-Kunden genutzt. Die Funktion wird nun auf alle Konten ausgeweitet.

  2. Fake-News und Hassrede: Facebook löscht 150 Konten der Querdenker
    Fake-News und Hassrede
    Facebook löscht 150 Konten der Querdenker

    Nach Ansicht von Facebook hat die Querdenker-Bewegung "bedrohliche Netzwerke" gebildet und gegen Gemeinschaftsregeln verstoßen.

  3. Gopro Hero 10 Black ausprobiert: Gopros neue Kamera ist die Schnellste
    Gopro Hero 10 Black ausprobiert
    Gopros neue Kamera ist die Schnellste

    Endlich ein neuer Chip und mehr Zeitlupe! Wo Gopros Action-Kamera das Vorgängermodell schlägt, konnten wir vor dem Produktstart ausprobieren.
    Von Martin Wolf

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MM Club-Tage: Bis zu 15% auf TVs, PCs, Monitore uvm.) • Alternate (u. a. Razer Kraken X für Konsole 34,99€) • Xiaomi 11T 5G vorbestellbar 549€ • Saturn-Deals (u. a. Samsung 55" QLED (2021) 849,15€) • Logitech-Aktion: 20%-Rabattgutschein für ASOS • XMG-Notebooks mit 250€ Rabatt [Werbung]
    •  /