Abo
  • Services:
Anzeige
Nicht nur für Hadoop
Nicht nur für Hadoop (Bild: Presto)

Nicht nur für Hadoop

Anzeige

Presto ist erweiterbar, denn bei Facebook liegen nicht alle Daten in Hadoop. So werden auch HBase und einige proprietäre Systeme verwendet, beispielsweise für das Backend des Facebook News Feeds. Daher wurde Presto mit einer einfachen Storage-Abstraktion ausgestattet, so dass sich die SQL-Querys leicht mit unterschiedlichen Datenquellen abwickeln lassen. Dabei kommen Connectors genannte Storage-Plugins zum Einsatz, die nur eine Schnittstelle zum Lesen der Metadaten, den Speicherort der Daten und den Zugriff auf die Daten selbst bereitstellen müssen.

Derzeit stehen Connectors für HBase, Scribe und einige andere Facebook-eigene Systeme zur Verfügung.

Die Entwicklung von Presto begann im Herbst 2012, das erste Produktionssystem mit der Software lief Anfang 2013. Im Frühjahr wurde Presto unternehmensweit ausgerollt und hat sich laut Facebook zu einem der wichtigsten interaktiven Systeme für das eigene Data-Warehouse entwickelt. Es kommt in verschiedenen Regionen zum Einsatz, läuft mit 1.000 Nodes in einem Cluster und wird von mehr als 1.000 Mitarbeitern genutzt, die täglich mehr als 30.000 Querys damit abwickeln und dabei mehr als 1 Petabyte an Daten verarbeiten.

In Sachen CPU-Effizienz und Latenz ist Presto laut Facebook zehnmal so schnell wie das Gespann aus Hive und Mapreduce. Es unterstützt eine große Menge von Ansi SQL, einschließlich Joins, left/right Outer Joins, Subqueries und häufig genutzter Aggregator-Funktionen wie Distinct Count und Approximate Percentiles. Die größten Einschränkungen bestehen derzeit bei den Größenlimits der Join-Tabellen und der Kardinalität der Unique Keys sowie Gruppen. Zudem kann das System noch keine Daten in die Tabellen zurückschreiben.

Facebook arbeitet aber sowohl an neuen Funktionen als auch an Geschwindigkeitssteigerungen für Presto. So sollen die Limits für Joins und Aggregationen in den kommenden Monaten beseitigt und die Möglichkeit, Ergebnisse in die Tabellen zu schreiben, geschaffen werden. Zudem arbeiten die Facebook-Entwickler an einem Query-Beschleuniger: einem neuen Datenformat, das für die Query-Verarbeitung optimiert ist und unnötige Umwandlungen umgehen soll. Das soll es dann ermöglichen, Untermengen von Daten zu cachen und diese zur Beschleunigung zu nutzen. Auch an einem schnelleren HBase-Connector wird gearbeitet.

Presto ist ab sofort Open Source

Facebook hat Presto erstmals im Juni 2013 auf der Konferenz Analytics @ Webscale vorgestellt. Da sich viele andere Unternehmen für Presto interessierten, hat Facebook in den vergangenen Monaten begonnen, den Presto-Code und fertige Binarys an eine kleine Zahl an Unternehmen zu verteilen, die Presto auf eigenen Servern getestet haben.

Ab sofort steht Presto als Open Source unter prestodb.io allen zur Verfügung. Der Quellcode ist unter github.com/facebook/presto zu finden.

 Presto: Wie Facebook 300 Petabyte in Echtzeit analysiert

eye home zur Startseite
draftbreaker 12. Nov 2013

Übrigens http://en.wikipedia.org/wiki/Profile-guided_optimization Java ist schnell...

unveu 08. Nov 2013

Man muss ja die ganzen Researcher und Admins langsam umstellen, die kriegen ja nen Schock...



Anzeige

Stellenmarkt
  1. T-Systems International GmbH, Leinfelden-Echterdingen
  2. Dataport, Halle (Saale), Magdeburg
  3. Faubel & Co. Nachf. GmbH, Melsungen
  4. REGUMED Regulative Medizintechnik GmbH, Planegg Raum München


Anzeige
Hardware-Angebote
  1. 179,99€
  2. 120,99€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Leitfaden für den gezielten Einsatz von SAP HANA
  2. Wissens-Guide und Kaufberatung für Cloud-Sicherheit
  3. SAP HANA Integration von der Planung bis zum Hosting


  1. Nokia 3, 5 und 6

    HMD Global bringt drei Nokia-Smartphones mit Android

  2. Moto G5 und Moto G5 Plus im Hands on

    Lenovos kompakte Mittelklasse ist zurück

  3. Handy-Klassiker

    HMD Global bringt das Nokia 3310 zurück

  4. Galaxy Tab S3 im Hands on

    Samsung präsentiert Oberklasse-Tablet mit Eingabestift

  5. Galaxy Book im Hands on

    Samsung bringt neuen 2-in-1-Computer

  6. Mobilfunk

    "5G muss weit mehr als LTE bieten"

  7. UHS-III

    Neuer (Micro-)SD-Karten-Standard schafft über 600 MByte/s

  8. Watch 2 im Hands on

    Huaweis neue Smartwatch soll bis zu 21 Tage lang durchhalten

  9. LG G6 im Hands on

    Schlankes Smartphone hat zwei Kameralinsen

  10. P10 und P10 Plus im Hands on

    Huaweis neues P10 kostet 600 Euro



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Mechanische Tastatur Poker 3 im Test: "Kauf dir endlich Dämpfungsringe!"
Mechanische Tastatur Poker 3 im Test
"Kauf dir endlich Dämpfungsringe!"
  1. Patentantrag Apple denkt über Tastatur mit Siri-, Emoji- und Teilen-Taste nach
  2. MX Board Silent im Praxistest Der viel zu teure Feldversuch von Cherry
  3. Kanex Faltbare Bluetooth-Tastatur für mehrere Geräte gleichzeitig

Hyperloop-Challenge: Der Kompressor macht den Unterschied
Hyperloop-Challenge
Der Kompressor macht den Unterschied
  1. Arrivo Die neuen alten Hyperlooper
  2. SpaceX Die Bayern hyperloopen am schnellsten und weitesten
  3. Hyperloop HTT baut ein Forschungszentrum in Toulouse

Merkels NSA-Vernehmung: Die unerträgliche Uninformiertheit der Kanzlerin
Merkels NSA-Vernehmung
Die unerträgliche Uninformiertheit der Kanzlerin
  1. Apple Planet der affigen Fernsehshows
  2. München Wie Limux unter Ausschluss der Öffentlichkeit zerstört wird
  3. Glasfaser Nun hängt die Kabel doch endlich auf!

  1. Re: 50 Euro, hoffentlich nur UVP

    kaliberx | 02:51

  2. Re: Theoretischer vs. praktischer Wert

    ve2000 | 02:51

  3. Re: An alle die den Grund für das Verbot nicht...

    .LeChuck. | 02:33

  4. Re: An alle die den Grund für das Verbot nicht...

    Abseus | 02:33

  5. Leicht OT: Tablet mit 8" (notfalls 7"), 2GB RAM...

    ve2000 | 02:29


  1. 21:13

  2. 20:32

  3. 20:15

  4. 19:00

  5. 19:00

  6. 18:45

  7. 18:10

  8. 17:48


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel