Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Stellenmarkt
  1. Leiter Global IT (m/w/d)
    über Dr. Maier & Partner GmbH Executive Search, Rhein-Neckar-Raum
  2. SAP-Produktmanagerin/SAP-Pro- duktmanager (w/m/d)
    Berliner Verkehrsbetriebe (BVG), Berlin
Detailsuche

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Oberleitungs-Lkw
Herr Gramkow will möglichst weit elektrisch fahren

Seit anderthalb Jahren fährt ein Lkw auf der A1 elektrisch an einer Oberleitung. Wir haben die Spedition besucht, die ihn einsetzt.
Ein Bericht von Werner Pluta

Oberleitungs-Lkw: Herr Gramkow will möglichst weit elektrisch fahren
Artikel
  1. Star Trek: Playmobil bringt 1 Meter langes Enterprise-Spielset
    Star Trek
    Playmobil bringt 1 Meter langes Enterprise-Spielset

    Star Treks klassische Enterprise NCC-1701 kommt mit den Hauptcharakteren, Phasern und Tribbles sowie einem Standfuß und einer Deckenhalterung.

  2. Wettbewerb: EU soll Untersuchung von Googles Werbegeschäft planen
    Wettbewerb
    EU soll Untersuchung von Googles Werbegeschäft planen

    Die EU-Kommission lässt Google keine Pause: Als Nächstes soll das Werbegeschäft genau auf Wettbewerbseinschränkungen untersucht werden.

  3. Akkutechnik und E-Mobilität: Natrium-Ionen-Akkus werden echte Lithium-Alternative
    Akkutechnik und E-Mobilität
    Natrium-Ionen-Akkus werden echte Lithium-Alternative

    Faradion und der Tesla-Zulieferer CATL produzieren erste Natrium-Ionen-Akkus mit der Energiedichte von LFP. Sie sind kälteresistenter, sicherer und lithiumfrei.
    Von Frank Wunderlich-Pfeiffer

Vielfalt 05. Okt 2017

Wieso net C#?


Folgen Sie uns
       


  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Orange Week bei Cyberport mit bis zu -70% • MSI Optix G32CQ4DE 335,99€ • XXL-Sale bei Alternate • Enermax ETS-F40-FS ARGB 32,99€ • Prime-Filme leihen für je 0,99€ • GP Anniversary Sale - Teil 4: Indie & Arcade • Saturn Weekend Deals • Ebay: 10% auf Gaming-Produkte [Werbung]
    •  /