Abo
  • IT-Karriere:

Vespa: Yahoos Big-Data-Engine wird Open-Source-Projekt

Seit 2016 gehört Yahoo zur Verizon-Gruppe und darin zu Oath, dem Verizon Digital Network. Oath stellt nun Yahoos in Java verfasste Big-Data-Engine Vespa unter eine Open-Source-Lizenz.

Artikel veröffentlicht am , Kristian Kißling/Linux Magazin
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop.
Die Wespe, italienisch Vespa, soll wohl schneller sein als der Elefant von Hadoop. (Bild: Radu Privantu, flickr.com/CC-BY 2.0)

Laut der Ankündigung des Java-Projekts Vespa von Yahoo soll es die Software Admins erleichtern, Anwendungen zu erstellen, die in Echtzeit Resultate aus einer großen Menge an Daten herausfiltern, um sie dem Benutzer dann zu präsentieren. Während Hadoop und Storm laut der Ankündigung dabei helfen, die Daten zu verarbeiten, sei der letzte Schritt, sie auszuliefern, noch ein Problem. Vespa wolle diese Lücke schließen und sei im Hinblick auf die Codezeilen größer als jedes bislang veröffentlichte Open-Source-Projekt von Yahoo.

Stellenmarkt
  1. Joyson Safety Systems Aschaffenburg GmbH, Aschaffenburg
  2. Fleischprüfring Bayern e.V., Vierkirchen

Die Software kommt bei Oath unter anderem für Yahoo.com, Yahoo News oder Flickr zum Einsatz. Sie soll 9.000-mal pro Sekunde Inhalte und Anzeigen ausliefern können, mit Latenzen im Zehntelmillisekundenbereich. Für Flickr bewältige Vespa zum Beispiel hunderte von Abfragen pro Sekunde und durchwühle dabei einige Milliarden von Bildern. Über Yahoo Gemini wickele Vespa rund drei Milliarden native Anzeigenabfragen pro Tag ab.

Die Daten und ihre Berechnungen verteilt Vespa dabei auf viele Maschinen, wobei die Software auf einen Master verzichtet, der zum Flaschenhals werden könnte. Anders als herkömmliche Anwendungen zieht Vespa die Daten nicht in eine zustandslose Schicht, um sie zu verarbeiten, sondern erledigt die Berechnungen bei den Daten. Dazu verwaltet die Software Cluster mit vielen Nodes, die im Hintergrund Daten redundant verteilen, stellt neue Kapazitäten bereit, implementiert verteilte Abfrage- und Verarbeitungsalgorithmen mit geringer Latenz, kümmert sich um die Konsistenz der verteilten Daten und vieles mehr.

Vespa erlaubt es Anwendungsentwicklern, Daten und Modelle beliebiger Größe in das Betriebssystem einzuspeisen und die endgültigen Berechnungen zur gewünschten Zeit auszuführen. Dies verbessere laut Oath das Benutzererlebnis bei niedrigeren Kosten und erlaube komplexere Antworten, weil Vespa auf Pre-Computing-Antworten auf Anfragen verzichte. Entwickler arbeitteten interaktiver, indem sie in Echtzeit navigierten und mit komplexen Berechnungen interagierten, anstatt Offline-Jobs zu starten, um die Ergebnisse später zu überprüfen. Der Code für Vespa steht auf Github unter der Apache-Lizenz-2.0 bereit.



Anzeige
Spiele-Angebote
  1. 19,95€
  2. 14,95€
  3. 2,99€

Vielfalt 05. Okt 2017

Wieso net C#?


Folgen Sie uns
       


Geräuschunterdrückung von drei ANC-Kopfhörern im Vergleich

Wir haben den neuen ANC-Kopfhörer von Audio Technica gegen die Konkurrenz von Bose und Sony antreten lassen. Im Video sind die Unterschiede bei der ANC-Leistung zwischen dem ATH-ANC900BT, dem Quiet Comfort 35 II und dem WH-1000XM3 deutlich hörbar.

Geräuschunterdrückung von drei ANC-Kopfhörern im Vergleich Video aufrufen
LTE-V2X vs. WLAN 802.11p: Wer hat Recht im Streit ums Auto-WLAN?
LTE-V2X vs. WLAN 802.11p
Wer hat Recht im Streit ums Auto-WLAN?

Trotz langjähriger Verhandlungen haben die EU-Mitgliedstaaten die Pläne für ein vernetztes Fahren auf EU-Ebene vorläufig gestoppt. Golem.de hat nachgefragt, ob LTE-V2X bei direkter Kommunikation wirklich besser und billiger als WLAN sei.
Eine Analyse von Friedhelm Greis

  1. Vernetztes Fahren Lobbyschlacht um WLAN und 5G in Europa
  2. Gefahrenwarnungen EU setzt bei vernetztem Fahren weiter auf WLAN

Oneplus 7 Pro im Hands on: Neue Konkurrenz für die Smartphone-Oberklasse
Oneplus 7 Pro im Hands on
Neue Konkurrenz für die Smartphone-Oberklasse

Parallel zum Oneplus 7 hat das chinesische Unternehmen Oneplus auch das besser ausgestattete Oneplus 7 Pro vorgestellt. Das Smartphone ist mit seiner Kamera mit drei Objektiven für alle Fotosituationen gewappnet und hat eine ausfahrbare Frontkamera - das hat aber seinen Preis.
Ein Hands on von Ingo Pakalski

  1. Oneplus 7 Der Nachfolger des Oneplus 6t kostet 560 Euro
  2. Android 9 Oneplus startet Pie-Beta für Oneplus 3 und 3T
  3. MWC 2019 Oneplus will Prototyp eines 5G-Smartphones zeigen

Katamaran Energy Observer: Kaffee zu kochen heißt, zwei Minuten später anzukommen
Katamaran Energy Observer
Kaffee zu kochen heißt, zwei Minuten später anzukommen

Schiffe müssen keine Dreckschleudern sein: Victorien Erussard und Jérôme Delafosse haben ein Boot konstruiert, das ohne fossilen Treibstoff auskommt. Es kann sogar auf hoher See selbst Treibstoff aus Meerwasser gewinnen. Auf ihrer Tour um die Welt wirbt die Energy Observer für erneuerbare Energien.
Ein Bericht von Werner Pluta

  1. Umweltschutz Kanäle in NRW bekommen Ladesäulen für Binnenschiffe
  2. Transport DLR plant Testfeld für autonome Schiffe in Brandenburg
  3. C-Enduro Britische Marine testet autonomes Wasserfahrzeug

    •  /