Hadoop für Echtzeitdaten

Storm wird Open Source

Twitter will das von Backtype entwickelte System Storm als Open Source freigeben. Dabei handelt es sich um ein verteiltes, verlässliches und fehlertolerantes System zur Verarbeitung von Datenströmen, das Backtype als eine Art Hadoop für Echtzeitdaten bezeichnet.

Artikel veröffentlicht am ,
Storm wird im September 2011 Open Source.
Storm wird im September 2011 Open Source. (Bild: Backtype)

Storm soll am 19. September 2011 auf der Konferenz Strangeloop als Open Source freigegeben werden, das kündigte Nathan Marz an, der Chefentwickler von Backtype. Durch die Übernahme von Backtype durch Twitter gehört Storm mittlerweile zu dem Microblogging-Dienst, was die Frage aufwarf, ob Twitter Storm wie von Backtype geplant als Open Source freigeben wird.

Stellenmarkt
  1. Software- / Webentwickler (w/m/d)
    Technische Hochschule Nürnberg Georg Simon Ohm, Nürnberg
  2. Projektmanager (m/w/d) - Innovationen und Digitalisierung
    ABG FRANKFURT HOLDING GmbH Wohnungsbau- und Beteiligungsgesellschaft mbH, Frankfurt am Main
Detailsuche

Backtype beschreibt Storm als eine Art Hadoop für Echtzeitdaten: Ähnlich wie die Jobs des von Hadoop implementierten Mapreduce laufen auf einem Storm-Cluster "Topologien". Während aber ein Mapreduce-Job irgendwann zu einem Ende kommt, läuft eine Topologie, bis sie manuell gestoppt wird. Die parallele Architektur von Storm soll dabei besonders fehlertolerant sein. Fallen Systeme aus, können sie nach dem Neustart nahtlos weiterarbeiten. Zudem garantiert das System, dass Nachrichten verarbeitet werden.

Storm lasse sich in unterschiedlichster Form einsetzen, wirbt Marz. So könne Storm zur Stream-Verarbeitung genutzt werden, wobei es einen Strom eingehender Nachrichten entgegennimmt und Datenbanken in Echtzeit aktualisiert. Auch für "Continuous Computation" lasse sich Storm nutzen. Dabei wird eine unendlich laufende Abfrage auf einen Nachrichtenstrom angewandt, und die Ergebnisse werden in Echtzeit an die Clients geschickt. Als drittes Beispiel nennt Marz verteilte RPC-Systeme.

Einige erste Details und Beispiele zu Storm hat Marz in einem Blogeintrag zusammengefasst. Bis zum 19. September 2011 will er die Dokumentation verbessern, so dass Interessierte die Software leicht testen können, wenn sie dann als Open Source veröffentlicht wird.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


XeniosZeus 05. Aug 2011

Backtype beschreibt Strom als eine Art Hadoop... :-D



Aktuell auf der Startseite von Golem.de
Ukrainekrieg
Erster Einsatz einer US-Kamikazedrohne dokumentiert

Eine Switchblade-Drohne hat offenbar einen russischen Panzer getroffen. Dessen Besatzung soll sich auf dem Turm mit Alkohol vergnügt haben.

Ukrainekrieg: Erster Einsatz einer US-Kamikazedrohne dokumentiert
Artikel
  1. Heimnetze: Die Masche mit dem Nachbarn
    Heimnetze
    Die Masche mit dem Nachbarn

    Heimnetze sind Inseln mit einer schmalen und einsamen Anbindung zum Internet. Warum eine Öffnung dieser strengen Isolation sinnvoll ist.
    Von Jochen Demmer

  2. Deutsche Bahn: 9-Euro-Ticket gilt nicht in allen Nahverkehrszügen
    Deutsche Bahn  
    9-Euro-Ticket gilt nicht in allen Nahverkehrszügen

    So einfach ist es dann noch nicht: Das 9-Euro-Ticket gilt nicht in allen Zügen, die mit einem Nahverkehrsticket genutzt werden können.

  3. Übernahme: Twitter zahlt Millionenstrafe und Musk schichtet um
    Übernahme
    Twitter zahlt Millionenstrafe und Musk schichtet um

    Die US-Regierung sieht Twitter als Wiederholungstäter bei Datenschutzverstößen und Elon Musk will sich das Geld für die Übernahme nun anders besorgen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Mindstar (u. a. Palit RTX 3050 Dual 319€, MSI MPG X570 Gaming Plus 119€ und be quiet! Shadow Rock Slim 2 29€) • Days of Play (u. a. PS5-Controller 49,99€) • Viewsonic-Monitore günstiger • Alternate (u. a. Razer Tetra 12€) • Marvel's Avengers PS4 9,99€ • Sharkoon Light² 200 21,99€ [Werbung]
    •  /