Abo
  • Services:

Streaming-Systeme

Dennoch sind Nachrichten-Queues in der Praxis nur ein spezieller Teil in Lambda- und Kappa-Architekturen: Sie speisen kontinuierlich Daten in die kontinuierlich laufenden Fachanwendungen ein. Im Englischen werden diese Art von Anwendungen beziehungsweise deren Plattformen zumeist als Streaming Engine bezeichnet. Mittlerweile ist eine Vielzahl von Streaming Engines verfügbar. Ein Vergleich dieser Lösungen in Hinsicht auf Architektur, Einsatzzwecke, verfügbare Dienstleister und vieles andere ist nicht trivial.

Stellenmarkt
  1. Weinmann Holzbausystemtechnik GmbH, Sankt Johann
  2. Alfred Kärcher SE & Co. KG, Winnenden

Derzeit stammen die beliebtesten Engines in diesem Bereich von Apache und sind Open-Source-Projekte: Apex, Beam, Flink, Samza, Storm und Spark. Ihre Verbreitung spricht Bände für die steigende Annahme und Bedeutung des Unbounded Data Processing. Aber zu viele Optionen sind nicht immer gut: Für welche soll ich mich entscheiden und was kann ich damit anfangen? Besprechen wir kurz die verschiedenen Möglichkeiten.

Zunächst einmal bieten nicht alle Engines im gleichen Maße oder auf gleiche Weise Hilfe bei der Implementierung für Unternehmen. Flink und Spark verfügen über einen quelloffenen Kern, der mit proprietären Ergänzungen erweitert werden kann. Hinter diesen Erweiterungen stehen Anbieter, die Support bereitstellen, in diesem Fall Data Artisans beziehungsweise Databricks. Diese bieten unter anderem kommerzielle Produkte und Dienstleistungen auf der Basis von Flink und Spark.

Bei anderen Streaming Engines stehen keine Unternehmen dahinter, die den Support gewährleisten, erprobte fertige Lösungen anbieten und die Entwicklung vorantreiben. Darunter fällt mittlerweile Apache Apex, das einst von dem mittlerweile geschlossenen Unternehmen Data Torrent betreut wurde. Doch dazu gehören auch Apache Storm und Apache Samza. Storm ist älter und ausgereifter als Samza, und es wird von dem Unternehmen Hortonworks unterstützt.

Aber Hortonworks Kerngeschäft liegt nicht im Streaming, und wer als Unternehmen Unterstützung von Hortonworks will, muss anscheinend den gesamten Hortonworks-Stack nutzen. Es ist unklar, ob Hortonworks die Unterstützung für Storm ausbauen will, aber derzeit deutet nichts darauf hin.

Apache Beam unterscheidet sich von den bisher genannten dadurch, dass es eine Spezifikation ist, keine implementierte Engine an sich. Dahinter steht die Idee eines abstrakten Streaming-Konzeptes und einer einheitlichen API für die verschiedenen Streaming Engines. Beam wird vor allem von Google unterstützt - mit der Absicht, dass Streaming-Prozesse ohne viel Aufwand zu Googles Dataflow übertragen werden können. Flink unterstützt die Spezifikation vollständig, Spark nur teilweise.

Wie unterscheiden sich schließlich Flink und Spark? Flink wird vor allem als Integrationszentrale für echtzeitfähige, zustandsbehaftete Unternehmensanwendungen genutzt. Spark wird eher für Data-Science- und Analyse-Anwendungen genutzt, für Popularität sorgt hier die Integration von Python, Machine Learning und Jupyter Notebook.

Ein weiterer Unterschied ist, dass die Flink-basierte Plattform von Data Artisan nicht als cloudbasierte Lösung verfügbar ist, während Databricks' Angebot mit einer Cloud-only-Lösung wirbt. Doch auch hier gibt es Überschneidungen und Grauzonen. Für weitergehende Vergleiche bieten sich der Bericht von Bloor (PDF) an.

Ein neues Paradigma

Unabhängig von der konkreten Plattform-Wahl sollte die wichtigste Erkenntnis sein, dass die Echtzeitverarbeitung ein anderes Paradigma im Umgang mit Daten erfordert. Im Laufe der Zeit erhielten Streaming-Plattformen zusätzliche Fähigkeiten wie die SQL-Unterstützung, um Entwicklern den Umgang mit Datenströmen zu vereinfachen und eine höhere Abstraktion zu bieten. Wer aber dieses Paradigma mit der darauf basierenden Kappa-Architektur meistern und davon profitieren will, der muss Zeit investieren und die erforderliche Infrastruktur aufbauen.

Die Stream-basierte Verarbeitung von Daten eröffnet Wege in der Softwareentwicklung und der Datenanalyse, um geschäftliche Bedürfnisse zu erfüllen, und es lohnt sich, echtzeitfähige Anwendungen und Werkzeuge zu entwickeln.

 Die Verarbeitung unbeschränkter Mengen und die Kappa-Architektur
  1.  
  2. 1
  3. 2
  4. 3


Anzeige
Spiele-Angebote
  1. 4,99€
  2. (-80%) 5,55€
  3. (-68%) 15,99€

FlashBFE 20. Feb 2019 / Themenstart

Ebenso, +1

FlashBFE 20. Feb 2019 / Themenstart

Nein, ein Stapel ist eben keine Warteschlange. Das eine ist FILO, das andere FIFO. Und...

lennartgrosser1... 06. Feb 2019 / Themenstart

Genau genommen ist Hadoop kein Data Warehouse, sondern ein Framework, welches verteiltes...

DummyAccount 05. Feb 2019 / Themenstart

Spark ist übrigens in der Tat immer noch micro-batch orientiert. Flink dagegen bietet...

Kommentieren


Folgen Sie uns
       


Sony Xperia 10 Plus - Hands on (MWC 2019)

Das Xperia 10 Plus hat Sony auf dem Mobile World Congress 2019 vorgestellt. Im ersten Hands on konnte uns die schmale Bauform überzeugen. Endlich gibt es auch Dual-Kamera-Technik. Das Xperia 10 Plus kommt Anfang März 2019 für 430 Euro auf den Markt.

Sony Xperia 10 Plus - Hands on (MWC 2019) Video aufrufen
Thyssen-Krupp Testturm Rottweil: Herr Fetzer parkt die Aufzugkabine um
Thyssen-Krupp Testturm Rottweil
Herr Fetzer parkt die Aufzugkabine um

Ohne Aufzüge gäbe es keine Hochhäuser. Aber inzwischen sind Wolkenkratzer zu hoch für herkömmliche Systeme. Thyssen-Krupp testet derzeit einen neuartigen Aufzug, der beliebig hoch fahren kann. Inspiriert ist er vom Paternoster und dem Transrapid. Wir waren im Testturm.
Ein Bericht von Werner Pluta

  1. Ceramic Speed Hätte, hätte - Fahrrad ohne Kette
  2. Geheimdienste und Bundeswehr Masterstudiengang für Staatshacker gestartet
  3. Sonitus Technologies Zahnmikrofon sorgt für klare Kommunikation

Gesetzesinitiative des Bundesrates: Neuer Straftatbestand Handelsplattform-Betreiber im Darknet
Gesetzesinitiative des Bundesrates
Neuer Straftatbestand Handelsplattform-Betreiber im Darknet

Eine Gesetzesinitiative des Bundesrates soll den Betrieb von Handelsplattformen im Darknet unter Strafe stellen, wenn sie Illegales fördern. Das war auch bisher schon strafbar, das Gesetz könnte jedoch vor allem der Überwachung dienen, kritisieren Juristen.
Von Moritz Tremmel

  1. Security Onionshare 2 ermöglicht einfachen Dateiaustausch per Tor
  2. Tor-Netzwerk Britischer Kleinstprovider testet Tor-SIM-Karte
  3. Tor-Netzwerk Sicherheitslücke für Tor Browser 7 veröffentlicht

Uploadfilter: Der Generalangriff auf das Web 2.0
Uploadfilter
Der Generalangriff auf das Web 2.0

Die EU-Urheberrechtsreform könnte Plattformen mit nutzergenerierten Inhalten stark behindern. Die Verfechter von Uploadfiltern zeigen dabei ein Verständnis des Netzes, das mit der Realität wenig zu tun hat. Statt Lizenzen könnte es einen anderen Ausweg geben.
Eine Analyse von Friedhelm Greis

  1. Uploadfilter EU-Kommission bezeichnet Reformkritiker als "Mob"
  2. EU-Urheberrecht Die verdorbene Reform
  3. Leistungsschutzrecht und Uploadfilter EU-Unterhändler einigen sich auf Urheberrechtsreform

    •  /