Abo
  • Services:
Anzeige
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Anzeige

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.


eye home zur Startseite
Vielfalt 05. Okt 2017

Wieso net C#?



Anzeige

Stellenmarkt
  1. BSH Hausgeräte GmbH, München
  2. FIO SYSTEMS AG, Leipzig
  3. Online Verlag GmbH Freiburg, Freiburg
  4. Hommel Hercules Werkzeughandel GmbH & Co. KG, Viernheim


Anzeige
Blu-ray-Angebote
  1. (u. a. Game of Thrones, Big Bang Theory, The Vampire Diaries, Supernatural)
  2. (u. a. Logan Blu-ray 9,97€, Deadpool Blu-ray 8,97€, Fifty Shades of Grey Blu-ray 11,97€)
  3. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)

Folgen Sie uns
       


  1. Age of Empires Definitive Edition Test

    Trotz neuem Look zu rückständig

  2. Axel Voss

    "Das Leistungsschutzrecht ist nicht die beste Idee"

  3. Bayern

    Kostenloses WLAN auf Autobahnrastplätzen freigeschaltet

  4. Waymo

    Robotaxis sollen 2018 in kommerziellen Betrieb gehen

  5. Glasfaserkabel zerstört

    Zehntausende Haushalte in Berlin ohne Telefon und Internet

  6. US-Gerichtsurteil

    Einbetten von Tweets kann Urheberrecht verletzen

  7. Anklage in USA erhoben

    So sollen russische Trollfabriken Trump unterstützt haben

  8. Gerichtsurteil

    Facebook drohen in Belgien bis zu 100 Millionen Euro Strafe

  9. Microsoft

    Windows on ARM ist inkompatibel zu 64-Bit-Programmen

  10. Fehler bei Zwei-Faktor-Authentifizierung

    Facebook will keine Benachrichtigungen per SMS schicken



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Freier Media-Player: VLC 3.0 eint alle Plattformen
Freier Media-Player
VLC 3.0 eint alle Plattformen

Ryzen 5 2400G und Ryzen 3 2200G im Test: Raven Ridge rockt
Ryzen 5 2400G und Ryzen 3 2200G im Test
Raven Ridge rockt
  1. Raven Ridge AMD verschickt CPUs für UEFI-Update
  2. Krypto-Mining AMDs Threadripper schürft effizient Monero
  3. AMD Zen+ und Zen 2 sind gegen Spectre gehärtet

Dorothee Bär: Netzbetreiber werden über 100 MBit/s angeblich kaum los
Dorothee Bär
Netzbetreiber werden über 100 MBit/s angeblich kaum los
  1. FTTH/B Glasfaser wird in Deutschland besser nachgefragt
  2. Koalitionsvertrag fertig "Glasfaser möglichst direkt bis zum Haus"
  3. Glasfaser Telekom weitet FTTH-Pilotprojekt auf vier Orte aus

  1. Re: 2-Fache Redundanz = 2-Facher Preis --- Zahlst...

    Bautz | 09:18

  2. Das Problem der Presse ist nicht Google,

    sttn | 09:17

  3. Re: Nachfolger MEGA65 (kompatibel zum C64)

    Yanuu | 09:16

  4. Re: AoE II HD

    mw (Golem.de) | 09:15

  5. Re: Mein Gott, und solche Leute regieren uns :(

    Bautz | 09:12


  1. 09:01

  2. 07:05

  3. 06:36

  4. 06:24

  5. 21:36

  6. 16:50

  7. 14:55

  8. 11:55


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel