Abo
  • Services:

Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Stellenmarkt
  1. AKKA GmbH & Co. KGaA, München
  2. Versicherungskammer Bayern, Saarbrücken

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.



Anzeige
Blu-ray-Angebote
  1. (u. a. Game Night 5,98€, Maze Runner 6,98€, Coco 5,98€)

Vielfalt 05. Okt 2017

Wieso net C#?


Folgen Sie uns
       


Apple Watch 4 - Fazit

Die neue Apple Watch bleibt für uns das Maß aller Smartwatch-Dinge.

Apple Watch 4 - Fazit Video aufrufen
Norsepower: Stahlsegel helfen der Umwelt und sparen Treibstoff
Norsepower
Stahlsegel helfen der Umwelt und sparen Treibstoff

Der erste Test war erfolgreich: Das finnische Unternehmen Norsepower hat zwei weitere Schiffe mit Rotorsails ausgestattet. Der erste Neubau mit dem Windhilfsantrieb ist in Planung. Neue Regeln der Seeschifffahrtsorganisation könnten bewirken, dass künftig mehr Schiffe saubere Antriebe bekommen.
Ein Bericht von Werner Pluta

  1. Car2X Volkswagen will Ampeln zuhören
  2. Innotrans Die Schiene wird velosicher
  3. Logistiktram Frankfurt liefert Pakete mit Straßenbahn aus

Apple Watch im Test: Auch ohne EKG die beste Smartwatch
Apple Watch im Test
Auch ohne EKG die beste Smartwatch

Apples vierte Watch verändert das Display-Design leicht - zum Wohle des Nutzers. Die Uhr bietet immer noch mit die beste Smartwatch-Erfahrung, auch wenn eine der neuen Funktionen in Deutschland noch nicht funktioniert.
Ein Test von Tobias Költzsch

  1. Skydio R1 Apple Watch zur Drohnensteuerung verwendet
  2. Smartwatch Apple Watch Series 4 mit EKG und Sturzerkennung
  3. Smartwatch Apple Watch Series 4 nur mit sechs Modellen

Neuer Kindle Paperwhite im Hands On: Amazons wasserdichter E-Book-Reader mit planem Display
Neuer Kindle Paperwhite im Hands On
Amazons wasserdichter E-Book-Reader mit planem Display

Amazon bringt einen neuen Kindle Paperwhite auf den Markt und verbessert viel. Der E-Book-Reader steckt in einem wasserdichten Gehäuse, hat eine plane Displayseite, mehr Speicher und wir können damit Audible-Hörbücher hören. Noch nie gab es so viel Kindle-Leistung für so wenig Geld.
Ein Hands on von Ingo Pakalski


      •  /