Bullet: Yahoo legt Abfrage-Engine für Echtzeit-Streams offen

Mit dem Open-Source-Werkzeug Bullet von Yahoo sollen Daten schon untersucht werden können, während diese in Echtzeit gestreamt werden. Für eine Big-Data-Analyse müssen die Daten damit nicht mehr aggregiert werden.

Artikel veröffentlicht am ,
Namensgeber für Software von Yahoo: Bullets
Namensgeber für Software von Yahoo: Bullets (Bild: Martin Wolf/Golem.de)

Der Begriff Big Data beschreibe längst nicht mehr nur die gesammelten Logs von Apache-Webservern in riesigen Rechenzentren, sondern auch Daten zu Leistungsmetriken, Nutzerverhalten oder von Internet-of-Things-Geräten sowie weiteren eher atypischen Daten, schreibt des Entwicklerteam von Yahoo in seinem Blog. Mit Bullet hat das Team ein Werkzeug erstellt, das die Analyse dieser Daten ermöglicht, ohne diese erst aggregieren zu müssen.

Stellenmarkt
  1. Referent Projekte und Key User Mobilität (m/w/d)
    TotalEnergies Marketing Deutschland GmbH, Berlin
  2. Manager / Teamleiter (m/w/d) SAP Finanzen und Controlling (FI, CO) mit Schwerpunkt SAP ECC
    Getinge Holding B.V. & Co. KG, Rastatt bei Karlsruhe
Detailsuche

Üblicherweise werden Big-Data-Analysen bisher nur auf statisch abgelegten Daten durchgeführt, die etwa über eine bestimmten Zeitraum aufgezeichnet werden. Mit dem nun als Open-Source-Software zur Verfügung stehenden Bullet könnten Analyseanfragen jedoch auch auf Daten durchgeführt werden, die in Echtzeit durch das Netzwerk gestreamt werden. Grundlage dafür bildet das Apache-Projekt Storm.

"Im Wesentlichen kommen die Daten zu den Abfragen, statt die Abfragen dahin zu leiten, wo die Daten sind. Wenn die Bedingungen der Abfrage erfüllt sind (in der Regel ein Zeitfenster oder eine Anzahl von Ereignissen), endet die Abfrage und gibt dann das Ergebnis zurück", heißt es vereinfachend in der Beschreibung des Systems.

Bullet skaliert zu Big-Data-Analyse

Laut der Ankündigung skaliert Bullet linear in Bezug auf die Daten sowie die Anfragen. Bei Tests habe das System mehr als 700 Anfrage bei 1,5 Millionen Dateneinträgen pro Sekunde abarbeiten können. Das entspreche einem Datendurchsatz von etwa 5 GByte/s.

Golem Akademie
  1. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    13.–17. Dezember 2021, virtuell
  2. Kotlin für Java-Entwickler: virtueller Zwei-Tage-Workshop
    14.–15. Oktober 2021, Virtuell
Weitere IT-Trainings

Yahoo selbst setze Bullet ein, um das sogenannte User-Engagement zu analysieren. Der Datensatz umfasse dabei rund 100.000 Einträge pro Sekunde, was komprimiert 130 MByte/s entspreche. Ausgeführt wird Bullet dabei auf 100 virtualisierten CPU-Kernen mit 120 GByte RAM.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Pornhub, Youporn, Mydirtyhobby
Gericht bestätigt Zugangsverbot für Pornoportale

Die Landesmedienanstalt NRW hat zu Recht gegen drei Pornoportale mit Sitz in Zypern ein Zugangsverbot verhängt.

Pornhub, Youporn, Mydirtyhobby: Gericht bestätigt Zugangsverbot für Pornoportale
Artikel
  1. Zip: Ratenzahlung in Microsoft Edge empört die Community
    Zip
    Ratenzahlung in Microsoft Edge empört die Community

    Die App Zip wird seit Microsoft Edge 96 standardmäßig aktiviert. Diese bietet Ratenzahlung an, schürt aber nur Hass in der Community.

  2. Kompakter Einstieg in die Netzwerktechnik
     
    Kompakter Einstieg in die Netzwerktechnik

    Die Golem Akademie bietet Admins und IT-Sicherheitsbeauftragten in einem Fünf-Tage-Workshop einen umfassenden Überblick über Netzwerktechnologien und -konzepte.
    Sponsored Post von Golem Akademie

  3. Razer Zephyr im Test: Gesichtsmaske mit Stil bringt nicht viel
    Razer Zephyr im Test
    Gesichtsmaske mit Stil bringt nicht viel

    Einmal Cyberpunk mit Beleuchtung bitte: Tragen wir Razers Zephyr in der U-Bahn, fallen wir auf. Allerdings ist das Produkt nicht ausgereift.
    Ein Test von Oliver Nickel

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Last Minute Angebote bei Amazon • Crucial-RAM zu Bestpreisen (u. a. 16GB Kit DDR4-3600 73,99€) • HP 27" FHD 165Hz 199,90€ • Razer Iskur X Gaming-Stuhl 239,99€ • Adventskalender bei MM/Saturn (u. a. Surface Pro 7+ 849€) • Alternate (u. a. Adata 1TB PCIe-4.0-SSD für 129,90€) [Werbung]
    •  /