Nicht nur für Hadoop

Presto ist erweiterbar, denn bei Facebook liegen nicht alle Daten in Hadoop. So werden auch HBase und einige proprietäre Systeme verwendet, beispielsweise für das Backend des Facebook News Feeds. Daher wurde Presto mit einer einfachen Storage-Abstraktion ausgestattet, so dass sich die SQL-Querys leicht mit unterschiedlichen Datenquellen abwickeln lassen. Dabei kommen Connectors genannte Storage-Plugins zum Einsatz, die nur eine Schnittstelle zum Lesen der Metadaten, den Speicherort der Daten und den Zugriff auf die Daten selbst bereitstellen müssen.

Stellenmarkt
  1. Administrator ServiceNow (m/w/d)
    operational services GmbH & Co. KG, Frankfurt am Main, Berlin, Hamburg, München
  2. IT-Produktmanager (m/w/d) SAP
    Bayerische Versorgungskammer, München
Detailsuche

Derzeit stehen Connectors für HBase, Scribe und einige andere Facebook-eigene Systeme zur Verfügung.

Die Entwicklung von Presto begann im Herbst 2012, das erste Produktionssystem mit der Software lief Anfang 2013. Im Frühjahr wurde Presto unternehmensweit ausgerollt und hat sich laut Facebook zu einem der wichtigsten interaktiven Systeme für das eigene Data-Warehouse entwickelt. Es kommt in verschiedenen Regionen zum Einsatz, läuft mit 1.000 Nodes in einem Cluster und wird von mehr als 1.000 Mitarbeitern genutzt, die täglich mehr als 30.000 Querys damit abwickeln und dabei mehr als 1 Petabyte an Daten verarbeiten.

In Sachen CPU-Effizienz und Latenz ist Presto laut Facebook zehnmal so schnell wie das Gespann aus Hive und Mapreduce. Es unterstützt eine große Menge von Ansi SQL, einschließlich Joins, left/right Outer Joins, Subqueries und häufig genutzter Aggregator-Funktionen wie Distinct Count und Approximate Percentiles. Die größten Einschränkungen bestehen derzeit bei den Größenlimits der Join-Tabellen und der Kardinalität der Unique Keys sowie Gruppen. Zudem kann das System noch keine Daten in die Tabellen zurückschreiben.

Golem Akademie
  1. PostgreSQL Fundamentals
    6.-9. Dezember 2021, online
  2. Data Engineering mit Apache Spark
    27.-28. September 2021, online
  3. Cloud Computing mit Amazon Web Services (AWS)
    29. November-1. Dezember 2021, Online
Weitere IT-Trainings

Facebook arbeitet aber sowohl an neuen Funktionen als auch an Geschwindigkeitssteigerungen für Presto. So sollen die Limits für Joins und Aggregationen in den kommenden Monaten beseitigt und die Möglichkeit, Ergebnisse in die Tabellen zu schreiben, geschaffen werden. Zudem arbeiten die Facebook-Entwickler an einem Query-Beschleuniger: einem neuen Datenformat, das für die Query-Verarbeitung optimiert ist und unnötige Umwandlungen umgehen soll. Das soll es dann ermöglichen, Untermengen von Daten zu cachen und diese zur Beschleunigung zu nutzen. Auch an einem schnelleren HBase-Connector wird gearbeitet.

Presto ist ab sofort Open Source

Facebook hat Presto erstmals im Juni 2013 auf der Konferenz Analytics @ Webscale vorgestellt. Da sich viele andere Unternehmen für Presto interessierten, hat Facebook in den vergangenen Monaten begonnen, den Presto-Code und fertige Binarys an eine kleine Zahl an Unternehmen zu verteilen, die Presto auf eigenen Servern getestet haben.

Ab sofort steht Presto als Open Source unter prestodb.io allen zur Verfügung. Der Quellcode ist unter github.com/facebook/presto zu finden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Presto: Wie Facebook 300 Petabyte in Echtzeit analysiert
  1.  
  2. 1
  3. 2


Aktuell auf der Startseite von Golem.de
Astro
Amazons erster Roboter kostet 1.500 US-Dollar

Astro heißt der erste Roboter von Amazon. Es ist eine Art rollender Echo Show mit Schwerpunkt auf Videoüberwachung.

Astro: Amazons erster Roboter kostet 1.500 US-Dollar
Artikel
  1. Amazon Alexa: Neuer Echo Show mit Personenerkennung wird aufgehängt
    Amazon Alexa
    Neuer Echo Show mit Personenerkennung wird aufgehängt

    Amazon erfindet den Echo Show neu: Der Echo Show 15 hat ein besonders großes Display und kann Personen erkennen.

  2. Cupra Urban Rebel: VW-Tochter kündigt Elektrorenner für 25.000 Euro an
    Cupra Urban Rebel
    VW-Tochter kündigt Elektrorenner für 25.000 Euro an

    Autobauer Cupra bringt mit dem Urban Rebel ein günstiges Elektroauto für all jene auf den Markt, denen der ID.Life von VW zu langweilig ist.

  3. Blink Video Doorbell: Amazon stellt Videotürklingel für 60 Euro vor
    Blink Video Doorbell
    Amazon stellt Videotürklingel für 60 Euro vor

    Amazon hat eine Videotürklingel unter dem Blink-Label vorgestellt. Sie soll vor allem mit einem günstigen Preis überzeugen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Echo Show 15 249,99€ • eero 6 Wifi 6 System 3er-Pack 299€ • Saturn-Aktion: Win 10-Laptop oder PC kaufen, kostenloses Upgrade auf Win 11 erhalten • Bosch Professional & PC-Spiele von EA günstiger • Alternate (u. a. Asus TUF Gaming-Monitor 23,8" FHD 165Hz 179,90€) • 6 UHDs kaufen, nur 4 bezahlen [Werbung]
    •  /