Abo
  • Services:

Bullet: Yahoo legt Abfrage-Engine für Echtzeit-Streams offen

Mit dem Open-Source-Werkzeug Bullet von Yahoo sollen Daten schon untersucht werden können, während diese in Echtzeit gestreamt werden. Für eine Big-Data-Analyse müssen die Daten damit nicht mehr aggregiert werden.

Artikel veröffentlicht am ,
Namensgeber für Software von Yahoo: Bullets
Namensgeber für Software von Yahoo: Bullets (Bild: Martin Wolf/Golem.de)

Der Begriff Big Data beschreibe längst nicht mehr nur die gesammelten Logs von Apache-Webservern in riesigen Rechenzentren, sondern auch Daten zu Leistungsmetriken, Nutzerverhalten oder von Internet-of-Things-Geräten sowie weiteren eher atypischen Daten, schreibt des Entwicklerteam von Yahoo in seinem Blog. Mit Bullet hat das Team ein Werkzeug erstellt, das die Analyse dieser Daten ermöglicht, ohne diese erst aggregieren zu müssen.

Stellenmarkt
  1. Robert Bosch GmbH, Waiblingen
  2. CompuGroup Medical Deutschland AG, Oberessendorf

Üblicherweise werden Big-Data-Analysen bisher nur auf statisch abgelegten Daten durchgeführt, die etwa über eine bestimmten Zeitraum aufgezeichnet werden. Mit dem nun als Open-Source-Software zur Verfügung stehenden Bullet könnten Analyseanfragen jedoch auch auf Daten durchgeführt werden, die in Echtzeit durch das Netzwerk gestreamt werden. Grundlage dafür bildet das Apache-Projekt Storm.

"Im Wesentlichen kommen die Daten zu den Abfragen, statt die Abfragen dahin zu leiten, wo die Daten sind. Wenn die Bedingungen der Abfrage erfüllt sind (in der Regel ein Zeitfenster oder eine Anzahl von Ereignissen), endet die Abfrage und gibt dann das Ergebnis zurück", heißt es vereinfachend in der Beschreibung des Systems.

Bullet skaliert zu Big-Data-Analyse

Laut der Ankündigung skaliert Bullet linear in Bezug auf die Daten sowie die Anfragen. Bei Tests habe das System mehr als 700 Anfrage bei 1,5 Millionen Dateneinträgen pro Sekunde abarbeiten können. Das entspreche einem Datendurchsatz von etwa 5 GByte/s.

Yahoo selbst setze Bullet ein, um das sogenannte User-Engagement zu analysieren. Der Datensatz umfasse dabei rund 100.000 Einträge pro Sekunde, was komprimiert 130 MByte/s entspreche. Ausgeführt wird Bullet dabei auf 100 virtualisierten CPU-Kernen mit 120 GByte RAM.



Anzeige
Hardware-Angebote
  1. und 20€ Steam-Guthaben geschenkt bekommen
  2. (reduzierte Überstände, Restposten & Co.)

Folgen Sie uns
       


Saugen oder Glitzern in Vampyr - Livestream

Es geht hoch her in London anno 1918, wie die Golem.de-Redakteure Christoph und Michael am eigenen, nach Blut lächzenden Körper erfahren.

Saugen oder Glitzern in Vampyr - Livestream Video aufrufen
Krankenversicherung: Der Papierkrieg geht weiter
Krankenversicherung
Der Papierkrieg geht weiter

Die Krankenversicherung der Zukunft wird digital und direkt, aber eine tiefgreifende Disruption des Gesundheitswesens à la Amazon wird in Deutschland wohl ausbleiben. Die Beharrungskräfte sind zu groß.
Eine Analyse von Daniel Fallenstein

  1. Imagen Tech KI-System Osteodetect erkennt Knochenbrüche
  2. Medizintechnik Implantat wird per Ultraschall programmiert
  3. Telemedizin Neue Patienten für die Onlinepraxis

KI in der Medizin: Keine Angst vor Dr. Future
KI in der Medizin
Keine Angst vor Dr. Future

Mit Hilfe künstlicher Intelligenz können schwer erkennbare Krankheiten früher diagnostiziert und behandelt werden, doch bei Patienten löst die Technik oft Unbehagen aus. Und das ist nicht das einzige Problem.
Ein Bericht von Tim Kröplin

  1. Medizintechnik Künstliche Intelligenz erschnüffelt Krankheiten
  2. Dota 2 128.000 CPU-Kerne schlagen fünf menschliche Helden
  3. KI-Bundesverband Deutschland soll mehr für KI-Forschung tun

Garmin Fenix 5 Plus im Test: Mit Musik ins unbekannte Land
Garmin Fenix 5 Plus im Test
Mit Musik ins unbekannte Land

Kopfhörer ins Ohr und ab zum Joggen, Rad fahren oder zum nächsten Supermarkt spazieren - ohne Smartphone: Mit der Sport-Smartwatch Fenix 5 Plus von Garmin geht das. Beim Test haben wir uns zwar im Wegfindungsmodus verlaufen, sind von den sonstigen Navigationsoptionen aber begeistert.
Ein Test von Peter Steinlechner

  1. Garmin im Hands on Alle Fenix 5 Plus bieten Musik und Offlinenavigation

    •  /