Chancen und Ausblick

Das Thema Chancen werde ich hier nur kurz streifen. In künftigen Beiträgen gehe ich detaillierter darauf ein.

Stellenmarkt
  1. Inhouse ERP Manager (m/w/d)
    baramundi software AG, Augsburg
  2. Teamleiter*in Digital Test
    SENEC GmbH, deutschlandweit (Home-Office)
Detailsuche

Mit Streams Welten verbinden. Bei der Streamverarbeitung gilt neben der Stärke bei der Verarbeitung mit niedriger Latenz eine offensichtlich sogar wichtigere Stärke in Bezug auf moderne Datenplattformen, nämlich die Verbindung verschiedener Technologien und die Umsetzung eines flüssigen Datenaustausches.

Technologien wie Change Data Capture (CDC), das Streaming von Materialansichten sowie Datenvernetzungskonzepte gewinnen zunehmend an Popularität. Schließlich wird auch Martin Kleppmanns Vision von 2015, Datenbanken von innen nach außen zu wenden langsam, zur Realität.

Höhere Abstraktion durch die Kombination aus Einfachheit und Flexibilität. In umfassenden internen Kenntnissen zu verschiedenen Datentechnologien liegt ein großer Mehrwert. Aber nicht jeder muss sich darin auskennen. Das gilt insbesondere, wenn Dateninfrastrukturen mit Cloud-First-Ansatz zur Normalität werden.

Golem Karrierewelt
  1. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    05.-09.09.2022, virtuell
  2. Kubernetes Dive-in-Workshop: virtueller Drei-Tage-Workshop
    11.-13.10.2022, Virtuell
Weitere IT-Trainings

Wenn die Abstraktion der Dateninfrastruktur zunehmend höher wird, entsteht unmittelbar die Chance, alle fortschrittlichen Funktionen ganz einfach einer größeren Zielgruppe zur Verfügung zu stellen. Technologien wie Streaming-SQL senken die Einstiegshürden, sind allerdings erst der Anfang. Datenplattformen sollten auch an den Grenzflächen (also Streaming oder Batch) die Abstraktion erhöhen, die Endanwender nicht zu Gesicht bekommen.

  • Verschieben der Daten vom Rand zum Data Warehouse (Bild: Zhenzhong Xu)
  • Fehleranfällige Architektur mit Batch-Pipeline vor der Migration (Bild: Zhenzhong Xu)
  • Keystone-Streamingarchitektur nach der Migration (Bild: Zhenzhong Xu)
  • So unterstützt die Streamverarbeitung den Umgang mit operativen und analytischen Daten. (Bild: Zhenzhong Xu)
  • Trennung der Bedenken für unterschiedliche Szenarien bei der Streamverarbeitung (Bild: Zhenzhong Xu)
  • Diagramm zur sich entwickelnden Keystone-Architektur, circa 2016. Keystone enthält Kafka- und Flink-Engines als Kernkomponenten. Weitere Details zum technischen Design finden sich in Blogposts mit dem Schwerpunkt Kafka und Flink. (Bild: Zhenzhong Xu)
  • Keystone-UI zeigt eine Drag-and-Drop-Erfahrung im Self-Service, die von einer voll verwalteten Streamingarchitektur mit mehreren Mandanten gestützt wird. (Bild: Zhenzhong Xu)
  • A/B-Test zur Auswahl der besten künstlerischen Darstellung für die Personalisierung (Bild: Netflix)
  • Architektur mit Abtrennung der Flink-Plattform als separatem Produkteinstiegspunkt (Bild: Zhenzhong Xu)
  • Abstimmung der Streamverarbeitung in Netflix - 2021 (Bild: Zhenzhong Xu)
  • Optimalpunkt zwischen Einfachheit und Flexibilität (Bild: Zhenzhong Xu)
Optimalpunkt zwischen Einfachheit und Flexibilität (Bild: Zhenzhong Xu)

Maschinelles Lernen benötigt mehr Aufmerksamkeit von modernen Datenplattformen. Maschinelles Lernen hat die größten Auswirkungen im Unternehmen. Die Mitarbeiter in diesem Bereich gehören allerdings unter allen Entwicklern zu denen, die am wenigsten Unterstützung erhalten. Alle Plattformen für maschinelles Lernen beruhen auf Datenspeichern und Datenverarbeitung.

Es gibt also viele Möglichkeiten für das Datenplattformteam, eine helfende Hand in Richtung maschinelles Lernen auszustrecken: Datenqualität, Zuverlässigkeit und Skalierbarkeit, Feedbackschleife zwischen Entwicklung und Produktion, Beobachtbarkeit in Echtzeit, Effizienz insgesamt und vieles mehr.

Zusammenfassung zu Streamverarbeitungsmustern in Phase 4

MusterProduktAnwendungsfälle
Streaming-Hinterfüllung / NeuformulierungFlinkAbmilderung von Pipeline-Fehlern, Kaltstart vermeiden
DatenqualitätskontrolleKeystone, FlinkManagement für Schemaentwicklung, SLA für Datenqualität, Kostensenkung über Avro-Komprimierung
Quelle / Senke - agnostische DatensynchronisierungKeystone, FlinkDelta, Datenvernetzung, Operative Berichte, Benachrichtigung, Pipeline für Suchindex
Annähernde Echtzeit-InferenzFlinkEmpfehlung für Kundenservice, absichtsbasierte Sitzungsanpassungen
Streaming-SQLFlinkDynamische Funktionsentwicklung
Intelligenter Betrieb4Automatische Diagnose und Behebung
Streamverarbeitungsmuster in Phase 4

Ich bin schon sehr gespannt auf die Zukunft der Dateninfrastruktur, insbesondere bei der Unterstützung für bessere Erfahrungen mit maschinellem Lernen. Ich glaube, dass hier die nächste Grenze ist, die wir überwinden müssen. Über Rückmeldungen zu diesem Beitrag freue ich mich sehr. Networking ist wichtig.

Danksagung: Viele Menschen haben mir bei der Überarbeitung dieses Beitrags geholfen. Ohne ihr Feedback wäre mir so manches Detail gar nicht aufgefallen. Mein besonderer Dank gilt Chip Huyen, Steven Wu, Prashanth Ramdas, Guanhua Jiang, Scott Shi, Goku Mohandas, David Sun, Astasia Myers und Matt Willian. Zhenzhong Xu leitete bei Netflix unter anderem das Team für die Engines zur Streamverarbeitung. Jetzt ist er selbständig und entwickelt mit seinem Unternehmen eine Streaming-First-Machine-Learning-Plattform.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Phase 4: Erweiterte Zuständigkeiten bei der StreamverarbeitungAnhang: Streamverarbeitungsmuster bei Netflix 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10. 9
  11. 10
  12. 11
  13.  


Aktuell auf der Startseite von Golem.de
Hacking
Der Bad-USB-Stick Rubber Ducky wird noch gefährlicher

Mit einer neuen Version des Bad-USB-Sticks Rubber Ducky lassen sich Rechner noch leichter angreifen und neuerdings auch heimlich Daten ausleiten.

Hacking: Der Bad-USB-Stick Rubber Ducky wird noch gefährlicher
Artikel
  1. Elektromobilität: Wohnmobile werden unter Strom gesetzt
    Elektromobilität
    Wohnmobile werden unter Strom gesetzt

    Auf dem Caravan-Salon in Düsseldorf werden die ersten Wohnmobile mit Elektroantrieb gezeigt. Doch die Branche tut sich schwer mit der Antriebswende.
    Ein Bericht von Franz W. Rother

  2. Zombiealarm: Amazon leakt Dead Island 2
    Zombiealarm
    Amazon leakt Dead Island 2

    Untote in Los Angeles: Das ist das Szenario von Dead Island 2. Amazon hat das Actionspiel versehentlich mit Bildern und Termin geleakt.

  3. Quadcopter Pixy: Snap stellt fliegende Kamera ein
    Quadcopter Pixy
    Snap stellt fliegende Kamera ein

    Nur vier Monate nach der Einführung ist für die Snap Pixy Schluss: Der Snap-CEO streicht die Weiterentwicklung der Drohne.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bei Computeruniverse bestellbar • MindStar (MSI RTX 3090 Gaming 1.269€, Seagate Festplatte ext. 18 TB 295€) • PS5-Deals (Uncharted Legacy of Thieves 15,38€, Horzizon FW 39,99€) • HP HyperX Gaming-Maus -51% • Alternate (Kingston Fury DDR5-6000 32GB 219,90€ statt 246€) • Samsung Galaxy S22+ 5G 128 GB 839,99€ [Werbung]
    •  /