Abo
  • Services:
Anzeige
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Anzeige

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.


eye home zur Startseite
Vielfalt 05. Okt 2017

Wieso net C#?

Themenstart

Kommentieren



Anzeige

Stellenmarkt
  1. Stadt Regensburg, Regensburg
  2. Hays AG, Raum Frankfurt
  3. Birkenstock GmbH & Co. KG Services, Neustadt (Wied)
  4. IT Baden-Württemberg (BITBW), Stuttgart


Anzeige
Blu-ray-Angebote
  1. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)
  2. 1 Monat für 1€

Folgen Sie uns
       


  1. Kleinrechner

    Tim Cook verspricht Update für Mac Mini

  2. Elektrorennwagen

    VW will elektrisch auf den Pikes Peak

  3. Messung

    Über 23.000 Funklöcher in Brandenburg

  4. Star Wars Battlefront 2 Angespielt

    Sternenkrieger-Kampagne rund um den Todesstern

  5. Nach Wahlniederlage

    Netzpolitiker Klingbeil soll SPD-Generalsekrektär werden

  6. Adasky

    Autonome Autos sollen im Infrarot-Bereich sehen

  7. Münsterland

    Deutsche Glasfaser baut weiter in Nordrhein-Westfalen aus

  8. Infineon

    BSI zertifiziert unsichere Verschlüsselung

  9. R-PHY- und R-MACPHY

    Kabelnetzbetreiber müssen sich nicht mehr festlegen

  10. ePrivacy-Verordnung

    Ausschuss votiert für Tracking-Schutz und Verschlüsselung



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
APFS in High Sierra 10.13 im Test: Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
APFS in High Sierra 10.13 im Test
Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
  1. MacOS 10.13 Apple gibt High Sierra frei
  2. MacOS 10.13 High Sierra Wer eine SSD hat, muss auf APFS umstellen

Elex im Test: Schroffe Schale und postapokalyptischer Kern
Elex im Test
Schroffe Schale und postapokalyptischer Kern

Indiegames-Rundschau: Fantastische Fantasy und das Echo der Doppelgänger
Indiegames-Rundschau
Fantastische Fantasy und das Echo der Doppelgänger
  1. Verlag IGN übernimmt Indiegames-Anbieter Humble Bundle
  2. Indiegames-Rundschau Cyberpunk, Knetmännchen und Kampfsportkünstler
  3. Indiegames-Rundschau Fantasysport, Burgbelagerungen und ein amorpher Blob

  1. Re: Zitat: "Der Akku, der vorn im Fahrzeug...

    _Pluto1010_ | 06:58

  2. Re: Regierung kann die Betreiber nicht zwingen

    tearcatcher | 06:49

  3. Man müsste mal den Elektrosmog messen, der...

    DY | 06:46

  4. Re: Bitte nicht mehr Funk, sonst schlägt das...

    _Pluto1010_ | 06:44

  5. Re: OpenSuSE

    heradon | 06:43


  1. 07:13

  2. 18:37

  3. 18:18

  4. 18:03

  5. 17:50

  6. 17:35

  7. 17:20

  8. 17:05


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel