Abo
  • Services:

Nicht nur für Hadoop

Presto ist erweiterbar, denn bei Facebook liegen nicht alle Daten in Hadoop. So werden auch HBase und einige proprietäre Systeme verwendet, beispielsweise für das Backend des Facebook News Feeds. Daher wurde Presto mit einer einfachen Storage-Abstraktion ausgestattet, so dass sich die SQL-Querys leicht mit unterschiedlichen Datenquellen abwickeln lassen. Dabei kommen Connectors genannte Storage-Plugins zum Einsatz, die nur eine Schnittstelle zum Lesen der Metadaten, den Speicherort der Daten und den Zugriff auf die Daten selbst bereitstellen müssen.

Stellenmarkt
  1. Gladbacher Bank AG, Mönchengladbach
  2. Bertrandt Ingenieurbüro GmbH, Köln

Derzeit stehen Connectors für HBase, Scribe und einige andere Facebook-eigene Systeme zur Verfügung.

Die Entwicklung von Presto begann im Herbst 2012, das erste Produktionssystem mit der Software lief Anfang 2013. Im Frühjahr wurde Presto unternehmensweit ausgerollt und hat sich laut Facebook zu einem der wichtigsten interaktiven Systeme für das eigene Data-Warehouse entwickelt. Es kommt in verschiedenen Regionen zum Einsatz, läuft mit 1.000 Nodes in einem Cluster und wird von mehr als 1.000 Mitarbeitern genutzt, die täglich mehr als 30.000 Querys damit abwickeln und dabei mehr als 1 Petabyte an Daten verarbeiten.

In Sachen CPU-Effizienz und Latenz ist Presto laut Facebook zehnmal so schnell wie das Gespann aus Hive und Mapreduce. Es unterstützt eine große Menge von Ansi SQL, einschließlich Joins, left/right Outer Joins, Subqueries und häufig genutzter Aggregator-Funktionen wie Distinct Count und Approximate Percentiles. Die größten Einschränkungen bestehen derzeit bei den Größenlimits der Join-Tabellen und der Kardinalität der Unique Keys sowie Gruppen. Zudem kann das System noch keine Daten in die Tabellen zurückschreiben.

Facebook arbeitet aber sowohl an neuen Funktionen als auch an Geschwindigkeitssteigerungen für Presto. So sollen die Limits für Joins und Aggregationen in den kommenden Monaten beseitigt und die Möglichkeit, Ergebnisse in die Tabellen zu schreiben, geschaffen werden. Zudem arbeiten die Facebook-Entwickler an einem Query-Beschleuniger: einem neuen Datenformat, das für die Query-Verarbeitung optimiert ist und unnötige Umwandlungen umgehen soll. Das soll es dann ermöglichen, Untermengen von Daten zu cachen und diese zur Beschleunigung zu nutzen. Auch an einem schnelleren HBase-Connector wird gearbeitet.

Presto ist ab sofort Open Source

Facebook hat Presto erstmals im Juni 2013 auf der Konferenz Analytics @ Webscale vorgestellt. Da sich viele andere Unternehmen für Presto interessierten, hat Facebook in den vergangenen Monaten begonnen, den Presto-Code und fertige Binarys an eine kleine Zahl an Unternehmen zu verteilen, die Presto auf eigenen Servern getestet haben.

Ab sofort steht Presto als Open Source unter prestodb.io allen zur Verfügung. Der Quellcode ist unter github.com/facebook/presto zu finden.

 Presto: Wie Facebook 300 Petabyte in Echtzeit analysiert
  1.  
  2. 1
  3. 2


Anzeige
Blu-ray-Angebote
  1. (u. a. The Hateful 8 Blu-ray, Hacksaw Ridge Blu-ray, Unlocked Blu-ray, Ziemlich beste Freunde Blu...
  2. 4,99€

draftbreaker 12. Nov 2013

Übrigens http://en.wikipedia.org/wiki/Profile-guided_optimization Java ist schnell...

unveu 08. Nov 2013

Man muss ja die ganzen Researcher und Admins langsam umstellen, die kriegen ja nen Schock...


Folgen Sie uns
       


Golem.de lässt Alexa schlecht lachen und rappen

Alexa kann komisch lachen und schlecht rappen - wie man im Video hört.

Golem.de lässt Alexa schlecht lachen und rappen Video aufrufen
Digitalfotografie: Inkonsistentes Rauschen verrät den Fälscher
Digitalfotografie
Inkonsistentes Rauschen verrät den Fälscher

War der Anhänger wirklich so groß wie der Ring? Versucht da gerade einer, die Versicherung zu betuppen? Wenn Omas Erbstück geklaut wurde, muss die Versicherung wohl dem Digitalfoto des Geschädigten glauben. Oder sie engagiert einen Bildforensiker, der das Foto darauf untersucht, ob es bearbeitet wurde.
Ein Bericht von Werner Pluta

  1. iOS und Android Google lanciert drei experimentelle Foto-Apps
  2. Aufstecksucher für TL2 Entwarnung bei Leica

HP Z2 Mini Workstation G3 im Test: Leises Rauschen hinterm Monitor
HP Z2 Mini Workstation G3 im Test
Leises Rauschen hinterm Monitor

Unterm Tisch, auf dem Tisch oder hinter den Bildschirm geklemmt: HPs Z2 Mini Workstation ist ein potentes, wenn auch nicht gerade sehr preiswertes Komplettsystem. Den Preis ist der PC aber wert, denn er ist leise, modular und kann einfach gewartet werden. Der Admin dankt!
Ein Test von Oliver Nickel

  1. HP Pavilion Gaming Hardware für Gamer, die sich Omen nicht leisten wollen
  2. Chromebook x2 HP präsentiert Chrome-OS-Detachable mit Stift
  3. Laserjet Pro M15w und M28w HPs Laserdrucker schrumpfen auf 34 Zentimeter Länge

HTC Vive Pro im Test: Das beste VR-Headset ist nicht der beste Kauf
HTC Vive Pro im Test
Das beste VR-Headset ist nicht der beste Kauf

Höhere Auflösung, integrierter Kopfhörer und ein sehr bequemer Kopfbügel: Das HTC Vive Pro macht alles besser und gilt für uns als das beste VR-Headset, das wir bisher ausprobiert haben. Allerdings ist der Preis dafür so hoch, dass kaufen meist keine clevere Entscheidung ist.
Ein Test von Oliver Nickel

  1. VR-Headset HTCs Vive Pro kostet 880 Euro
  2. HTC Vive Pro ausprobiert VR-Headset hat mehr Pixel und Komfort
  3. Vive Focus HTC stellt autarkes VR-Headset vor

    •  /