Apache Drill: Riesige Datenmengen werden schneller verarbeitet

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

Artikel veröffentlicht am ,
Drill soll als Incubator-Projekt entwickelt werden.
Drill soll als Incubator-Projekt entwickelt werden. (Bild: Apache Software Foundation)

Zur Verwaltung riesiger Datenmengen nutzen viele Unternehmen Apache Hadoop, zur Analyse der Daten wird dann meist Mapreduce verwendet. Die Analyse ist jedoch bei bestimmten Anwendungen schlicht zu langsam, weshalb Google intern die Eigenentwicklung Dremel nutzt. Drill erweitert das frei zugängliche Dremel-Konzept leicht und soll zunächst als Incubator-Projekt der Apache-Foundation entwickelt werden.

Stellenmarkt
  1. IT-Spezialistin (m/w/d) für das Management von Computergestützten Laborsystemen
    Fraunhofer-Institut für Zelltherapie und Immunologie IZI, Leipzig
  2. Bachelor of Engineering (B.Eng.) / Bachelor of Science (B.Sc.) / Diplom-Ingenieur/in (FH/BA) ... (m/w/d)
    Regierungspräsidium Stuttgart, Stuttgart
Detailsuche

Zusätzlich zu den SQL-ähnlichen Sprachen, die Dremel und Google Bigquery nutzen, soll Drill weitere Abfragesprachen unterstützen, etwa jene, die in MongoDB verwendet wird. Ebenso soll Drill mit mehr Datenformaten umgehen können als Dremel. Insbesondere sollen sowohl spalten- als auch zeilenbasierte Formate unterstützt werden. Als Quellen für die Daten wird zunächst Hadoop eingesetzt.

Die ersten Arbeiten an der Implementierung stammen von dem Hadoop-Distributor Mapr. Mit der Übergabe des Quellcodes an die Apache-Sofware-Foundation sollen eine größere Entwicklercommunity und Synergien mit den Hadoop-Entwicklern entstehen.

Es ist sehr wahrscheinlich, dass Drill in das Incubator-Projekt der Apache-Software-Foundation aufgenommen wird.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
"Macht mich einfach wahnsinnig"
Kelber beklagt digitale Inkompetenz von VW

Der Bundesdatenschutzbeauftragte Ulrich Kelber hat vor einem Jahr ein Elektroauto bei VW bestellt. Und seitdem nichts mehr davon gehört.

Macht mich einfach wahnsinnig: Kelber beklagt digitale Inkompetenz von VW
Artikel
  1. Unikate: Deutsche Post verkauft eine Milliarde Matrixcode-Briefmarken
    Unikate
    Deutsche Post verkauft eine Milliarde Matrixcode-Briefmarken

    Die Deutsche Post begann im Februar 2021, Briefmarken mit Matrixcode zu verkaufen. Nun wurden bereits eine Milliarde Stück verkauft.

  2. Telemetrie: Voyager 1 weiß wohl nicht, wo sie ist
    Telemetrie
    Voyager 1 weiß wohl nicht, wo sie ist

    Seit 1977 befindet sich die Raumsonde Voyager 1 auf ihrer Reise durchs All. Die neusten Daten scheinen einen falschen Standort anzuzeigen.

  3. Agile Softwareentwicklung: Einfach mal so drauflos programmiert?
    Agile Softwareentwicklung
    Einfach mal so drauflos programmiert?

    Ohne Scrum wäre das nicht passiert, heißt es oft, wenn etwas schiefgeht. Dabei ist es umgekehrt: Ohne agiles Arbeiten geht es nicht mehr. Doch es gibt drei fundamentale Missverständnisse.
    Von Frank Heckel

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Xbox Series X bestellbar • Samsung schenkt 19% MwSt. • MindStar (u. a. AMD Ryzen 9 5950X 488€) • Cyber Week: Jetzt alle Deals freigeschaltet • LG OLED TV 77" 62% günstiger: 1.749€ • Bis zu 35% auf MSI • Alternate (u. a. AKRacing Core EX SE Gaming-Stuhl 169€) [Werbung]
    •  /