Apache Drill: Riesige Datenmengen werden schneller verarbeitet

Mit Drill soll die Abfrage und Analyse riesiger Datenmengen beschleunigt werden. Drill soll ein Incubator-Projekt der ASF werden und basiert auf dem Konzept des Google-Werkzeugs Dremel, welches das Unternehmen intern einsetzt.

Artikel veröffentlicht am ,
Drill soll als Incubator-Projekt entwickelt werden.
Drill soll als Incubator-Projekt entwickelt werden. (Bild: Apache Software Foundation)

Zur Verwaltung riesiger Datenmengen nutzen viele Unternehmen Apache Hadoop, zur Analyse der Daten wird dann meist Mapreduce verwendet. Die Analyse ist jedoch bei bestimmten Anwendungen schlicht zu langsam, weshalb Google intern die Eigenentwicklung Dremel nutzt. Drill erweitert das frei zugängliche Dremel-Konzept leicht und soll zunächst als Incubator-Projekt der Apache-Foundation entwickelt werden.

Stellenmarkt
  1. Softwareentwickler (m/w/d) C# Healthcare
    MEIERHOFER AG, München, Berlin, Leipzig, Passau (Home-Office)
  2. System Engineer (m/w/d) Big Data-Plattform
    Fiducia & GAD IT AG, Karlsruhe, München, Münster
Detailsuche

Zusätzlich zu den SQL-ähnlichen Sprachen, die Dremel und Google Bigquery nutzen, soll Drill weitere Abfragesprachen unterstützen, etwa jene, die in MongoDB verwendet wird. Ebenso soll Drill mit mehr Datenformaten umgehen können als Dremel. Insbesondere sollen sowohl spalten- als auch zeilenbasierte Formate unterstützt werden. Als Quellen für die Daten wird zunächst Hadoop eingesetzt.

Die ersten Arbeiten an der Implementierung stammen von dem Hadoop-Distributor Mapr. Mit der Übergabe des Quellcodes an die Apache-Sofware-Foundation sollen eine größere Entwicklercommunity und Synergien mit den Hadoop-Entwicklern entstehen.

Es ist sehr wahrscheinlich, dass Drill in das Incubator-Projekt der Apache-Software-Foundation aufgenommen wird.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Halbleiterfertigung
Aus 10 nm wird "Intel 7"

Intel orientiert sich vorerst an TSMC, will aber dank RibbonFets und PowerVias ab 2025 führend bei der Halbleiterfertigung sein.
Ein Bericht von Marc Sauter

Halbleiterfertigung: Aus 10 nm wird Intel 7
Artikel
  1. Elektroauto: Tesla überrascht mit großem Gewinnsprung
    Elektroauto
    Tesla überrascht mit großem Gewinnsprung

    Tesla hat im 2. Quartal 2021 sowohl die Umsatz- als auch die Gewinnerwartungen deutlich übertrumpfen können.

  2. Form Energy: Eisen-Luft-Akku soll Energiespeicherprobleme lösen
    Form Energy
    Eisen-Luft-Akku soll Energiespeicherprobleme lösen

    Mit Geld von Bill Gates und Jeff Bezos sollen große, billige Akkus Strom für mehrere Tage speichern. Kann die Technik liefern, was sie verspricht?
    Eine Analyse von Frank Wunderlich-Pfeiffer

  3. Brickit ausprobiert: Lego scannen einfach gemacht?
    Brickit ausprobiert
    Lego scannen einfach gemacht?

    Mit Kamera und Bilderkennung kann Brickit Lego digital einscannen. Das ist es aber nicht, was die App so praktisch macht.
    Ein Hands-on von Oliver Nickel


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Bosch Professional Amazon-Exklusives günstiger • Samsung G7 27" QLED Curved WQHD 240Hz 459€ • Kingston Fury 32GB Kit 3200MHz 149,90€ • 3 für 2 & Sony-TV-Aktion bei MM • New World vorbestellbar ab 39,99€ • Alternate (u. a. Deepcool RGB LED-Streifen 10,99€) • Apple Days [Werbung]
    •  /