Chancen und Ausblick

Das Thema Chancen werde ich hier nur kurz streifen. In künftigen Beiträgen gehe ich detaillierter darauf ein.

Mit Streams Welten verbinden. Bei der Streamverarbeitung gilt neben der Stärke bei der Verarbeitung mit niedriger Latenz eine offensichtlich sogar wichtigere Stärke in Bezug auf moderne Datenplattformen, nämlich die Verbindung verschiedener Technologien und die Umsetzung eines flüssigen Datenaustausches.

Technologien wie Change Data Capture (CDC), das Streaming von Materialansichten sowie Datenvernetzungskonzepte gewinnen zunehmend an Popularität. Schließlich wird auch Martin Kleppmanns Vision von 2015, Datenbanken von innen nach außen zu wenden langsam, zur Realität.

Höhere Abstraktion durch die Kombination aus Einfachheit und Flexibilität. In umfassenden internen Kenntnissen zu verschiedenen Datentechnologien liegt ein großer Mehrwert. Aber nicht jeder muss sich darin auskennen. Das gilt insbesondere, wenn Dateninfrastrukturen mit Cloud-First-Ansatz zur Normalität werden.

Wenn die Abstraktion der Dateninfrastruktur zunehmend höher wird, entsteht unmittelbar die Chance, alle fortschrittlichen Funktionen ganz einfach einer größeren Zielgruppe zur Verfügung zu stellen. Technologien wie Streaming-SQL senken die Einstiegshürden, sind allerdings erst der Anfang. Datenplattformen sollten auch an den Grenzflächen (also Streaming oder Batch) die Abstraktion erhöhen, die Endanwender nicht zu Gesicht bekommen.

• 

Optimalpunkt zwischen Einfachheit und Flexibilität (Bild: Zhenzhong Xu)

Maschinelles Lernen benötigt mehr Aufmerksamkeit von modernen Datenplattformen. Maschinelles Lernen hat die größten Auswirkungen im Unternehmen. Die Mitarbeiter in diesem Bereich gehören allerdings unter allen Entwicklern zu denen, die am wenigsten Unterstützung erhalten. Alle Plattformen für maschinelles Lernen beruhen auf Datenspeichern und Datenverarbeitung.

Es gibt also viele Möglichkeiten für das Datenplattformteam, eine helfende Hand in Richtung maschinelles Lernen auszustrecken: Datenqualität, Zuverlässigkeit und Skalierbarkeit, Feedbackschleife zwischen Entwicklung und Produktion, Beobachtbarkeit in Echtzeit, Effizienz insgesamt und vieles mehr.

Zusammenfassung zu Streamverarbeitungsmustern in Phase 4

Muster	Produkt	Anwendungsfälle
Streaming-Hinterfüllung / Neuformulierung	Flink	Abmilderung von Pipeline-Fehlern, Kaltstart vermeiden
Datenqualitätskontrolle	Keystone, Flink	Management für Schemaentwicklung, SLA für Datenqualität, Kostensenkung über Avro-Komprimierung
Quelle / Senke - agnostische Datensynchronisierung	Keystone, Flink	Delta, Datenvernetzung, Operative Berichte, Benachrichtigung, Pipeline für Suchindex
Annähernde Echtzeit-Inferenz	Flink	Empfehlung für Kundenservice, absichtsbasierte Sitzungsanpassungen
Streaming-SQL	Flink	Dynamische Funktionsentwicklung
Intelligenter Betrieb	4	Automatische Diagnose und Behebung

Streamverarbeitungsmuster in Phase 4

Ich bin schon sehr gespannt auf die Zukunft der Dateninfrastruktur, insbesondere bei der Unterstützung für bessere Erfahrungen mit maschinellem Lernen. Ich glaube, dass hier die nächste Grenze ist, die wir überwinden müssen. Über Rückmeldungen zu diesem Beitrag freue ich mich sehr. Networking ist wichtig.

Danksagung: Viele Menschen haben mir bei der Überarbeitung dieses Beitrags geholfen. Ohne ihr Feedback wäre mir so manches Detail gar nicht aufgefallen. Mein besonderer Dank gilt Chip Huyen, Steven Wu, Prashanth Ramdas, Guanhua Jiang, Scott Shi, Goku Mohandas, David Sun, Astasia Myers und Matt Willian. Zhenzhong Xu leitete bei Netflix unter anderem das Team für die Engines zur Streamverarbeitung. Jetzt ist er selbständig und entwickelt mit seinem Unternehmen eine Streaming-First-Machine-Learning-Plattform.