Abo
  • Services:

Bullet: Yahoo legt Abfrage-Engine für Echtzeit-Streams offen

Mit dem Open-Source-Werkzeug Bullet von Yahoo sollen Daten schon untersucht werden können, während diese in Echtzeit gestreamt werden. Für eine Big-Data-Analyse müssen die Daten damit nicht mehr aggregiert werden.

Artikel veröffentlicht am ,
Namensgeber für Software von Yahoo: Bullets
Namensgeber für Software von Yahoo: Bullets (Bild: Martin Wolf/Golem.de)

Der Begriff Big Data beschreibe längst nicht mehr nur die gesammelten Logs von Apache-Webservern in riesigen Rechenzentren, sondern auch Daten zu Leistungsmetriken, Nutzerverhalten oder von Internet-of-Things-Geräten sowie weiteren eher atypischen Daten, schreibt des Entwicklerteam von Yahoo in seinem Blog. Mit Bullet hat das Team ein Werkzeug erstellt, das die Analyse dieser Daten ermöglicht, ohne diese erst aggregieren zu müssen.

Stellenmarkt
  1. Stadtwerke München GmbH, München
  2. Verlag C.H.BECK, München-Schwabing

Üblicherweise werden Big-Data-Analysen bisher nur auf statisch abgelegten Daten durchgeführt, die etwa über eine bestimmten Zeitraum aufgezeichnet werden. Mit dem nun als Open-Source-Software zur Verfügung stehenden Bullet könnten Analyseanfragen jedoch auch auf Daten durchgeführt werden, die in Echtzeit durch das Netzwerk gestreamt werden. Grundlage dafür bildet das Apache-Projekt Storm.

"Im Wesentlichen kommen die Daten zu den Abfragen, statt die Abfragen dahin zu leiten, wo die Daten sind. Wenn die Bedingungen der Abfrage erfüllt sind (in der Regel ein Zeitfenster oder eine Anzahl von Ereignissen), endet die Abfrage und gibt dann das Ergebnis zurück", heißt es vereinfachend in der Beschreibung des Systems.

Bullet skaliert zu Big-Data-Analyse

Laut der Ankündigung skaliert Bullet linear in Bezug auf die Daten sowie die Anfragen. Bei Tests habe das System mehr als 700 Anfrage bei 1,5 Millionen Dateneinträgen pro Sekunde abarbeiten können. Das entspreche einem Datendurchsatz von etwa 5 GByte/s.

Yahoo selbst setze Bullet ein, um das sogenannte User-Engagement zu analysieren. Der Datensatz umfasse dabei rund 100.000 Einträge pro Sekunde, was komprimiert 130 MByte/s entspreche. Ausgeführt wird Bullet dabei auf 100 virtualisierten CPU-Kernen mit 120 GByte RAM.



Anzeige
Blu-ray-Angebote
  1. (u. a. 3 Blu-rays für 15€, 2 Neuheiten für 15€)
  2. Jetzt für 150 EUR kaufen und 75 EUR sparen

Folgen Sie uns
       


Pocophone F1 - Test

Das Pocophone F1 gehört zu den günstigsten Topsmartphones auf dem Markt - nur 330 Euro müssen Käufer für das Gerät bezahlen. Dafür bekommen sie eine Dualkamera und einen Snapdragon 845. Wer mit ein paar Kompromissen leben kann, macht mit dem Smartphone nichts falsch.

Pocophone F1 - Test Video aufrufen
Augmented Reality: Das AR-Fabrikgelände aus dem Smartphone
Augmented Reality
Das AR-Fabrikgelände aus dem Smartphone

Derzeit ist viel von einer Augmented Reality Cloud die Rede. Golem.de hat mit dem Berliner Startup Visualix über den Stand der Technik und künftige Projekte für Unternehmenskunden gesprochen - und darüber, was die Neuerungen für Pokémon Go bedeuten könnten.
Ein Interview von Achim Fehrenbach

  1. Jarvish Motorradhelm bringt Alexa in den Kopf
  2. Patentantrag Apple plant Augmented-Reality in der Windschutzscheibe
  3. Magic Leap Lumin OS Erste Bilder des Betriebssystems für Augmented Reality

Probefahrt mit Tesla Model 3: Wie auf Schienen übers Golden Gate
Probefahrt mit Tesla Model 3
Wie auf Schienen übers Golden Gate

Die Produktion des Tesla Model 3 für den europäischen Markt wird gerade vorbereitet. Golem.de hat einen Tag in und um San Francisco getestet, was Käufer von dem Elektroauto erwarten können.
Ein Erfahrungsbericht von Friedhelm Greis

  1. 1.000 Autos pro Tag Tesla baut das hunderttausendste Model 3
  2. Goodwood Festival of Speed Tesla bringt Model 3 erstmals offiziell nach Europa
  3. Elektroauto Produktionsziel des Tesla Model 3 erreicht

Neuer Echo Dot im Test: Amazon kann doch gute Mini-Lautsprecher bauen
Neuer Echo Dot im Test
Amazon kann doch gute Mini-Lautsprecher bauen

Echo Dot steht bisher für muffigen, schlechten Klang. Mit dem neuen Modell zeigt Amazon, dass es doch gute smarte Mini-Lautsprecher mit dem Alexa-Sprachassistenten bauen kann, die sogar gegen die Konkurrenz von Google ankommen.
Ein Test von Ingo Pakalski


      •  /