Abo
  • Services:

Hadoop für Echtzeitdaten

Storm wird Open Source

Twitter will das von Backtype entwickelte System Storm als Open Source freigeben. Dabei handelt es sich um ein verteiltes, verlässliches und fehlertolerantes System zur Verarbeitung von Datenströmen, das Backtype als eine Art Hadoop für Echtzeitdaten bezeichnet.

Artikel veröffentlicht am ,
Storm wird im September 2011 Open Source.
Storm wird im September 2011 Open Source. (Bild: Backtype)

Storm soll am 19. September 2011 auf der Konferenz Strangeloop als Open Source freigegeben werden, das kündigte Nathan Marz an, der Chefentwickler von Backtype. Durch die Übernahme von Backtype durch Twitter gehört Storm mittlerweile zu dem Microblogging-Dienst, was die Frage aufwarf, ob Twitter Storm wie von Backtype geplant als Open Source freigeben wird.

Stellenmarkt
  1. Robert Bosch GmbH, Dresden
  2. Stadtwerke München GmbH, München

Backtype beschreibt Storm als eine Art Hadoop für Echtzeitdaten: Ähnlich wie die Jobs des von Hadoop implementierten Mapreduce laufen auf einem Storm-Cluster "Topologien". Während aber ein Mapreduce-Job irgendwann zu einem Ende kommt, läuft eine Topologie, bis sie manuell gestoppt wird. Die parallele Architektur von Storm soll dabei besonders fehlertolerant sein. Fallen Systeme aus, können sie nach dem Neustart nahtlos weiterarbeiten. Zudem garantiert das System, dass Nachrichten verarbeitet werden.

Storm lasse sich in unterschiedlichster Form einsetzen, wirbt Marz. So könne Storm zur Stream-Verarbeitung genutzt werden, wobei es einen Strom eingehender Nachrichten entgegennimmt und Datenbanken in Echtzeit aktualisiert. Auch für "Continuous Computation" lasse sich Storm nutzen. Dabei wird eine unendlich laufende Abfrage auf einen Nachrichtenstrom angewandt, und die Ergebnisse werden in Echtzeit an die Clients geschickt. Als drittes Beispiel nennt Marz verteilte RPC-Systeme.

Einige erste Details und Beispiele zu Storm hat Marz in einem Blogeintrag zusammengefasst. Bis zum 19. September 2011 will er die Dokumentation verbessern, so dass Interessierte die Software leicht testen können, wenn sie dann als Open Source veröffentlicht wird.



Anzeige
Top-Angebote
  1. (u. a. Canon EOS 2000D + Objektiv 18-55 mm für 299€ statt 394€ im Vergleich)
  2. ab 119,99€
  3. (heute u. a. JBL BAR Studio für 99€ statt 137,90€ im Vergleich)
  4. (heute u. a. NZXT N7 Z370 Matte Black Mainboard für 237,90€ + Versand statt 272,90€ im...

XeniosZeus 05. Aug 2011

Backtype beschreibt Strom als eine Art Hadoop... :-D


Folgen Sie uns
       


Rebble Pebble - Test

Pünktlich zur Abschaltung der Pebble-Server hat das Rebble-Projekt seine Alternative gestartet. Der Rebble-Server bringt Funktionen wie den Appstore und die Wetteranzeige in der Timeline zurück. Ganz perfekt ist der Ersatz aber noch nicht.

Rebble Pebble - Test Video aufrufen
Künstliche Intelligenz: Wie Computer lernen
Künstliche Intelligenz
Wie Computer lernen

Künstliche Intelligenz, Machine Learning und neuronale Netze zählen zu den wichtigen Buzzwords dieses Jahres. Oft wird der Eindruck vermittelt, dass Computer bald wie Menschen denken können. Allerdings wird bei dem Thema viel durcheinandergeworfen. Wir sortieren.
Von Miroslav Stimac

  1. Innotrans KI-System identifiziert Schwarzfahrer
  2. USA Pentagon fordert KI-Strategie fürs Militär
  3. KI Deepmind-System diagnostiziert Augenkrankheiten

Athlon 200GE im Test: Celeron und Pentium abgehängt
Athlon 200GE im Test
Celeron und Pentium abgehängt

Mit dem Athlon 200GE belebt AMD den alten CPU-Markennamen wieder: Der Chip gefällt durch seine Zen-Kerne und die integrierte Vega-Grafikeinheit, die Intel-Konkurrenz hat dem derzeit preislich wenig entgegenzusetzen.
Ein Test von Marc Sauter

  1. AMD Threadripper erhalten dynamischen NUMA-Modus
  2. HP Elitedesk 705 Workstation Edition Minitower mit AMD-CPU startet bei 680 Euro
  3. Ryzen 5 2600H und Ryzen 7 2800H 45-Watt-CPUs mit Vega-Grafik für Laptops sind da

Pixel 3 und Pixel 3 XL im Hands on: Googles Smartphones mit verbesserten Kamerafunktionen
Pixel 3 und Pixel 3 XL im Hands on
Googles Smartphones mit verbesserten Kamerafunktionen

Google hat das Pixel 3 und das Pixel 3 XL vorgestellt. Bei beiden neuen Smartphones legt das Unternehmen besonders hohen Wert auf die Kamerafunktionen. Mit viel Software-Raffinessen sollen gute Bilder auch unter widrigen Umständen entstehen. Die ersten Eindrücke sind vielversprechend.
Ein Hands on von Ingo Pakalski

  1. BQ Aquaris X2 Pro im Hands on Ein gelungenes Gesamtpaket mit Highend-Funktionen

    •  /