Abo
  • Services:

Hadoop für Echtzeitdaten

Storm wird Open Source

Twitter will das von Backtype entwickelte System Storm als Open Source freigeben. Dabei handelt es sich um ein verteiltes, verlässliches und fehlertolerantes System zur Verarbeitung von Datenströmen, das Backtype als eine Art Hadoop für Echtzeitdaten bezeichnet.

Artikel veröffentlicht am ,
Storm wird im September 2011 Open Source.
Storm wird im September 2011 Open Source. (Bild: Backtype)

Storm soll am 19. September 2011 auf der Konferenz Strangeloop als Open Source freigegeben werden, das kündigte Nathan Marz an, der Chefentwickler von Backtype. Durch die Übernahme von Backtype durch Twitter gehört Storm mittlerweile zu dem Microblogging-Dienst, was die Frage aufwarf, ob Twitter Storm wie von Backtype geplant als Open Source freigeben wird.

Stellenmarkt
  1. Robert Bosch GmbH, Hildesheim
  2. Robert Bosch GmbH, Leonberg

Backtype beschreibt Storm als eine Art Hadoop für Echtzeitdaten: Ähnlich wie die Jobs des von Hadoop implementierten Mapreduce laufen auf einem Storm-Cluster "Topologien". Während aber ein Mapreduce-Job irgendwann zu einem Ende kommt, läuft eine Topologie, bis sie manuell gestoppt wird. Die parallele Architektur von Storm soll dabei besonders fehlertolerant sein. Fallen Systeme aus, können sie nach dem Neustart nahtlos weiterarbeiten. Zudem garantiert das System, dass Nachrichten verarbeitet werden.

Storm lasse sich in unterschiedlichster Form einsetzen, wirbt Marz. So könne Storm zur Stream-Verarbeitung genutzt werden, wobei es einen Strom eingehender Nachrichten entgegennimmt und Datenbanken in Echtzeit aktualisiert. Auch für "Continuous Computation" lasse sich Storm nutzen. Dabei wird eine unendlich laufende Abfrage auf einen Nachrichtenstrom angewandt, und die Ergebnisse werden in Echtzeit an die Clients geschickt. Als drittes Beispiel nennt Marz verteilte RPC-Systeme.

Einige erste Details und Beispiele zu Storm hat Marz in einem Blogeintrag zusammengefasst. Bis zum 19. September 2011 will er die Dokumentation verbessern, so dass Interessierte die Software leicht testen können, wenn sie dann als Open Source veröffentlicht wird.



Anzeige
Spiele-Angebote
  1. (-78%) 8,99€
  2. (u. a. Assassin's Creed Origins PC für 29€)
  3. 14,99€ + 1,99€ Versand oder Abholung im Markt

XeniosZeus 05. Aug 2011

Backtype beschreibt Strom als eine Art Hadoop... :-D


Folgen Sie uns
       


Sony E3 2018 Pressekonferenz - Live (techn. Probleme)

Sony hatte während der Übertragung der Pressekonferenz der E3 2018 massive technische Probleme. Abseits davon waren die gezeigten Spiele aber sehr gut. Trotzdem empfehlen wir, den Abschnitt nach The Last of Us bis zu Ghost of Tsushima zu überspringen. (Minute 40-50)

Sony E3 2018 Pressekonferenz - Live (techn. Probleme) Video aufrufen
VR-Rundschau: Retten rockende Jedi-Ritter die virtuelle Realität?
VR-Rundschau
Retten rockende Jedi-Ritter die virtuelle Realität?

Der mediale Hype um VR ist zwar abgeflaut, spannende Inhalte dafür gibt es aber weiterhin - und das nicht nur im Games-Bereich. Mit dabei: das beliebteste Spiel bei Steam, Jedi-Ritter auf Speed und ägyptische Grabkammern.
Ein Test von Achim Fehrenbach

  1. Grafikkarten Virtual Link via USB-C für Next-Gen-Headsets
  2. Oculus Core 2.0 Windows 10 wird Minimalanforderung für Oculus Rift
  3. Virtual Reality BBC überträgt Fußball-WM in der virtuellen VIP-Loge

Indiegames-Rundschau: Schiffbruch, Anime und viel Brummbrumm
Indiegames-Rundschau
Schiffbruch, Anime und viel Brummbrumm

Gas geben, den weißen Hai besiegen und endlich die eine verlorene Socke wiederfinden: Die sommerlichen Indiegames bieten für jeden etwas - besonders fürs Spielen zu zweit.
Von Rainer Sigl

  1. Indiegames-Rundschau Schwerelose Action statt höllischer Qualen
  2. Indiegames-Rundschau Kampfkrieger und Abenteuer in 1001 Nacht
  3. Indiegames-Rundschau Mutige Mäuse und tapfere Trabbis

Nasa-Teleskop: Überambitioniert, überteuert und in dieser Form überflüssig
Nasa-Teleskop
Überambitioniert, überteuert und in dieser Form überflüssig

Seit 1996 entwickelt die Nasa einen Nachfolger für das Hubble-Weltraumteleskop. Die Kosten dafür stiegen seit dem von 500 Millionen auf über 10 Milliarden US-Dollar. Bei Tests fiel das Prestigeprojekt zuletzt durch lockere Schrauben auf. Wie konnte es dazu kommen?
Von Frank Wunderlich-Pfeiffer

  1. Raumfahrt US-Regierung gibt der Nasa nicht mehr Geld für Mondflug

    •  /