Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Stellenmarkt
  1. Senior Fullstack Engineer (m/w/d)
    Haufe Group, Freiburg
  2. IT Specialist Messaging - Exchange (m/w/d)
    Dr. August Oetker Nahrungsmittel KG, Bielefeld
Detailsuche

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Software
Elon Musk verrät Teslas Tricks zur Bewältigung der Chipkrise

Teslas Autos haben viel Elektronik an Bord, doch die Chipkrise scheint dem Unternehmen nichts anzuhaben. Elon Musk verrät, wie das geschafft wurde.

Software: Elon Musk verrät Teslas Tricks zur Bewältigung der Chipkrise
Artikel
  1. Sexismus: Mitarbeiter von Blizzard wenden sich gegen Management
    Sexismus
    Mitarbeiter von Blizzard wenden sich gegen Management

    Der Konflikt bei Activision Blizzard eskaliert, die Arbeit an World of Warcraft soll weitgehend eingestellt sein.

  2. Surface: Microsoft patentiert ungewöhnliches Scharnier für Notebooks
    Surface
    Microsoft patentiert ungewöhnliches Scharnier für Notebooks

    Baut Microsoft ein neues Surface-Gerät? Patentgrafiken zeigen zumindest ein bisher unbekanntes Gerät mit einem ungewöhnlichen Scharnier.

  3. Unwetter: Wie viel Hochwasser verträgt ein Elektroauto?
    Unwetter
    Wie viel Hochwasser verträgt ein Elektroauto?

    Deutsche Hersteller machen sehr unterschiedliche Angaben über die Wassertauglichkeit von Elektroautos. Und können Teslas wirklich schwimmen?
    Ein Bericht von Friedhelm Greis

Vielfalt 05. Okt 2017

Wieso net C#?



  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Crucial Ballistix 16GB Kit 3200MHz 66,66€ • PCGH-Gaming-PCs stark reduziert (u. a. PC mit RTX 3060 & Ryzen 5 5600X 1.400€) • Samsung 27" Curved FHD 240Hz 239,90€ • OnePlus Nord CE 5G 128GB 299,49€ • Microsoft Flight Simulator Xbox Series X 69,99€ • 3 für 2 Spiele bei MM [Werbung]
    •  /