Phase 4: Erweiterte Zuständigkeiten bei der Streamverarbeitung

Während sich die Streamverarbeitung auf alle Unternehmensbereiche von Netflix ausdehnte, erkannten wir neue Muster und konnten frühe Erfolge verzeichnen. Aber für Selbstzufriedenheit ist kein Platz.

Netflix als Unternehmen hat immer neue Gebiete erforscht und enorme Investitionen in Studios zur Produktion von Inhalten und neuerdings auch ins Gaming getätigt. Daraus sind neue Herausforderungen entstanden, und wir haben uns aufgemacht, diese interessanten Probleme zu lösen.

• 

Abstimmung der Streamverarbeitung in Netflix - 2021 (Bild: Zhenzhong Xu)

Herausforderungen in Phase 4

Herausforderung 1: Vielfältige Datentechnologien machten die Koordinierung schwierig. Da die Teams eigenständig arbeiten, nutzen viele Teams bei Netflix sehr unterschiedliche Datentechnologien.

Im Transaktionsbereich sind das beispielsweise Cassandra, MySQL, Postgres, CockroachDB und Distributed Cache. Auf der analytischen Seite gibt es unter anderem Hive, Iceberg, Presto, Spark, Pig, Druid und Elasticsearch. Viele Kopien derselben Daten werden häufig in unterschiedlichen Datenspeichern innerhalb der Netflix-Datenlandschaft gespeichert.

Wenn es so viele Auswahlmöglichkeiten gibt, liegt es in der Natur des Menschen, die Technologien in verschiedene Bereiche aufzuteilen. Batch oder Streaming. Transaktionsspeicher oder analytischer Speicher. Online- oder Offlineverarbeitung. Diese Themen werden in der Datenwelt alle generell diskutiert. Die sich überlappenden Grenzen sorgen oftmals für größere Verwirrung bei den Endanwendern.

Heute stellen die Koordinierung und das Arbeiten mit Daten über technologische Grenzen hinweg eine unglaubliche Herausforderung dar. Es ist schwierig, Grenzen zu verschieben.

Herausforderung 2: Steilere Lernkurve. Da immer mehr Datentools zur Verfügung stehen und die Spezialisierung immer ausgeprägter wird, besteht die Herausforderung für die Nutzer darin, zu lernen und zu entscheiden, welche Technologie für einen bestimmten Anwendungsfall geeignet ist.

Herausforderung 3: Beim maschinellen Lernen wird nicht die gesamte Leistungsfähigkeit der Datenplattform ausgenutzt. Alle oben genannten Herausforderungen sorgen beim maschinellen Lernen für zusätzliche Schwierigkeiten. Die Feedbackschleifen der Datenwissenschaftler sind zu lang, die Produktivität von Dateningenieuren leidet, Produktingenieure stehen vor Problemen beim Weitergeben wertvoller Daten. Schließlich entgehen Unternehmen viele Chancen zur Anpassung an den sich schnell ändernden Markt.

Herausforderung 4: Grenzen der Skalierung im Modell mit zentraler Plattform. Da die zentrale Datenplattform Anwendungsfälle mit einer superlinearen Rate skaliert, ist es nicht nachhaltig, einen einzelnen Kontaktpunkt für den Support zu nutzen. Es ist an der Zeit, ein Modell zu evaluieren, bei dem die zentrale Plattform lokale zentrale Plattformen für eine zusätzliche Nutzung unterstützt (das heißt, wir priorisieren die Unterstützung der lokalen Plattformen, die auf unserer Plattform aufbauen).