Abo
  • Services:

Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Stellenmarkt
  1. über Dr. Maier & Partner GmbH Executive Search, österreichische Alpenregion
  2. DIEBOLD NIXDORF, Paderborn

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.



Anzeige
Top-Angebote
  1. (-88%) 2,49€
  2. (-77%) 11,49€
  3. 111€
  4. 55,11€ (Bestpreis!)

Vielfalt 05. Okt 2017

Wieso net C#?


Folgen Sie uns
       


Alstom E-Bus Prototyp in Berlin - Bericht

Der Alstom Aptis kann mit beiden Achsen lenken und ist deshalb besonders wendig. Wir sind in Berlin eine Runde mit dem Elektrobus gefahren.

Alstom E-Bus Prototyp in Berlin - Bericht Video aufrufen
P20 Pro im Kameratest: Huaweis Dreifach-Kamera schlägt die Konkurrenz
P20 Pro im Kameratest
Huaweis Dreifach-Kamera schlägt die Konkurrenz

Mit dem P20 Pro will Huawei sich an die Spitze der Smartphone-Kameras katapultieren. Im Vergleich mit der aktuellen Konkurrenz zeigt sich, dass das P20 Pro tatsächlich über eine sehr gute Kamera verfügt: Die KI-Funktionen können unerfahrenen Nutzern zudem das Fotografieren erleichtern.
Ein Test von Tobias Költzsch

  1. Android Huawei präsentiert drei neue Smartphones ab 120 Euro
  2. Wie Samsung Huawei soll noch für dieses Jahr faltbares Smartphone planen
  3. Porsche Design Mate RS Huawei bringt 512-GByte-Smartphone für 2.100 Euro

Dell XPS 13 (9370) im Test: Sehr gut ist nicht besser
Dell XPS 13 (9370) im Test
Sehr gut ist nicht besser

Mit dem XPS 13 (9370) hat Dell sein bisher exzellentes Ultrabook in nahezu allen Bereichen überarbeitet - und es teilweise verschlechtert. Der Akku etwa ist kleiner, das spiegelnde Display nervt. Dafür überzeugen die USB-C-Ports, die Kühlung sowie die Tastatur, und die Webcam wurde sinnvoller.
Ein Test von Marc Sauter und Sebastian Grüner

  1. Ultrabook Dell hat das XPS 13 ruiniert
  2. XPS 13 (9370) Dells Ultrabook wird dünner und läuft kürzer
  3. Ultrabook Dell aktualisiert XPS 13 mit Quadcore-Chip

NUC8i7HVK (Hades Canyon) im Test: Intels Monster-Mini mit Radeon-Grafikeinheit
NUC8i7HVK (Hades Canyon) im Test
Intels Monster-Mini mit Radeon-Grafikeinheit

Unter dem leuchtenden Schädel steckt der bisher schnellste NUC: Der buchgroße Hades Canyon kombiniert einen Intel-Quadcore mit AMDs Vega-GPU und strotzt förmlich vor Anschlüssen. Obendrein ist er recht leise und eignet sich für VR - selten hat uns ein System so gut gefallen.
Ein Test von Marc Sauter und Sebastian Grüner

  1. NUC7CJYS und NUC7PJYH Intel bringt Atom-betriebene Mini-PCs
  2. NUC8 Intels Mini-PC hat mächtig viel Leistung
  3. Hades Canyon Intel bringt NUC mit dedizierter GPU

    •  /