Phase 4: Erweiterte Zuständigkeiten bei der Streamverarbeitung

Während sich die Streamverarbeitung auf alle Unternehmensbereiche von Netflix ausdehnte, erkannten wir neue Muster und konnten frühe Erfolge verzeichnen. Aber für Selbstzufriedenheit ist kein Platz.

Stellenmarkt
  1. Bioinformatician / Data Steward (m/f/d)
    Deutsches Krebsforschungszentrum (DKFZ), Heidelberg
  2. Trainee (m/w/d) für internationales Projektmanagement
    Scheidt & Bachmann Fare Collection Systems GmbH, Mönchengladbach
Detailsuche

Netflix als Unternehmen hat immer neue Gebiete erforscht und enorme Investitionen in Studios zur Produktion von Inhalten und neuerdings auch ins Gaming getätigt. Daraus sind neue Herausforderungen entstanden, und wir haben uns aufgemacht, diese interessanten Probleme zu lösen.

  • Verschieben der Daten vom Rand zum Data Warehouse (Bild: Zhenzhong Xu)
  • Fehleranfällige Architektur mit Batch-Pipeline vor der Migration (Bild: Zhenzhong Xu)
  • Keystone-Streamingarchitektur nach der Migration (Bild: Zhenzhong Xu)
  • So unterstützt die Streamverarbeitung den Umgang mit operativen und analytischen Daten. (Bild: Zhenzhong Xu)
  • Trennung der Bedenken für unterschiedliche Szenarien bei der Streamverarbeitung (Bild: Zhenzhong Xu)
  • Diagramm zur sich entwickelnden Keystone-Architektur, circa 2016. Keystone enthält Kafka- und Flink-Engines als Kernkomponenten. Weitere Details zum technischen Design finden sich in Blogposts mit dem Schwerpunkt Kafka und Flink. (Bild: Zhenzhong Xu)
  • Keystone-UI zeigt eine Drag-and-Drop-Erfahrung im Self-Service, die von einer voll verwalteten Streamingarchitektur mit mehreren Mandanten gestützt wird. (Bild: Zhenzhong Xu)
  • A/B-Test zur Auswahl der besten künstlerischen Darstellung für die Personalisierung (Bild: Netflix)
  • Architektur mit Abtrennung der Flink-Plattform als separatem Produkteinstiegspunkt (Bild: Zhenzhong Xu)
  • Abstimmung der Streamverarbeitung in Netflix - 2021 (Bild: Zhenzhong Xu)
  • Optimalpunkt zwischen Einfachheit und Flexibilität (Bild: Zhenzhong Xu)
Abstimmung der Streamverarbeitung in Netflix - 2021 (Bild: Zhenzhong Xu)

Herausforderungen in Phase 4

Herausforderung 1: Vielfältige Datentechnologien machten die Koordinierung schwierig. Da die Teams eigenständig arbeiten, nutzen viele Teams bei Netflix sehr unterschiedliche Datentechnologien.

Im Transaktionsbereich sind das beispielsweise Cassandra, MySQL, Postgres, CockroachDB und Distributed Cache. Auf der analytischen Seite gibt es unter anderem Hive, Iceberg, Presto, Spark, Pig, Druid und Elasticsearch. Viele Kopien derselben Daten werden häufig in unterschiedlichen Datenspeichern innerhalb der Netflix-Datenlandschaft gespeichert.

Golem Karrierewelt
  1. Advanced Python – Fortgeschrittene Programmierthemen: virtueller Drei-Tage-Workshop
    23.-25.01.2023, Virtuell
  2. Green IT: Praxisratgeber zur nachhaltigen IT-Nutzung (virtueller Ein-Tages-Workshop)
    26.10.2022, virtuell
Weitere IT-Trainings

Wenn es so viele Auswahlmöglichkeiten gibt, liegt es in der Natur des Menschen, die Technologien in verschiedene Bereiche aufzuteilen. Batch oder Streaming. Transaktionsspeicher oder analytischer Speicher. Online- oder Offlineverarbeitung. Diese Themen werden in der Datenwelt alle generell diskutiert. Die sich überlappenden Grenzen sorgen oftmals für größere Verwirrung bei den Endanwendern.

Heute stellen die Koordinierung und das Arbeiten mit Daten über technologische Grenzen hinweg eine unglaubliche Herausforderung dar. Es ist schwierig, Grenzen zu verschieben.

Herausforderung 2: Steilere Lernkurve. Da immer mehr Datentools zur Verfügung stehen und die Spezialisierung immer ausgeprägter wird, besteht die Herausforderung für die Nutzer darin, zu lernen und zu entscheiden, welche Technologie für einen bestimmten Anwendungsfall geeignet ist.

Herausforderung 3: Beim maschinellen Lernen wird nicht die gesamte Leistungsfähigkeit der Datenplattform ausgenutzt. Alle oben genannten Herausforderungen sorgen beim maschinellen Lernen für zusätzliche Schwierigkeiten. Die Feedbackschleifen der Datenwissenschaftler sind zu lang, die Produktivität von Dateningenieuren leidet, Produktingenieure stehen vor Problemen beim Weitergeben wertvoller Daten. Schließlich entgehen Unternehmen viele Chancen zur Anpassung an den sich schnell ändernden Markt.

Herausforderung 4: Grenzen der Skalierung im Modell mit zentraler Plattform. Da die zentrale Datenplattform Anwendungsfälle mit einer superlinearen Rate skaliert, ist es nicht nachhaltig, einen einzelnen Kontaktpunkt für den Support zu nutzen. Es ist an der Zeit, ein Modell zu evaluieren, bei dem die zentrale Plattform lokale zentrale Plattformen für eine zusätzliche Nutzung unterstützt (das heißt, wir priorisieren die Unterstützung der lokalen Plattformen, die auf unserer Plattform aufbauen).

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Strategiewetten und Erkenntnisse aus Phase 3Chancen und Ausblick 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10. 9
  11. 10
  12. 11
  13.  


Aktuell auf der Startseite von Golem.de
Hacking
Der Bad-USB-Stick Rubber Ducky wird noch gefährlicher

Mit einer neuen Version des Bad-USB-Sticks Rubber Ducky lassen sich Rechner noch leichter angreifen und neuerdings auch heimlich Daten ausleiten.

Hacking: Der Bad-USB-Stick Rubber Ducky wird noch gefährlicher
Artikel
  1. Elektromobilität: Wohnmobile werden unter Strom gesetzt
    Elektromobilität
    Wohnmobile werden unter Strom gesetzt

    Auf dem Caravan-Salon in Düsseldorf werden die ersten Wohnmobile mit Elektroantrieb gezeigt. Doch die Branche tut sich schwer mit der Antriebswende.
    Ein Bericht von Franz W. Rother

  2. Zombiealarm: Amazon leakt Dead Island 2
    Zombiealarm
    Amazon leakt Dead Island 2

    Untote in Los Angeles: Das ist das Szenario von Dead Island 2. Amazon hat das Actionspiel versehentlich mit Bildern und Termin geleakt.

  3. Quadcopter Pixy: Snap stellt fliegende Kamera ein
    Quadcopter Pixy
    Snap stellt fliegende Kamera ein

    Nur vier Monate nach der Einführung ist für die Snap Pixy Schluss: Der Snap-CEO streicht die Weiterentwicklung der Drohne.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bei Computeruniverse bestellbar • MindStar (MSI RTX 3090 Gaming 1.269€, Seagate Festplatte ext. 18 TB 295€) • PS5-Deals (Uncharted Legacy of Thieves 15,38€, Horzizon FW 39,99€) • HP HyperX Gaming-Maus -51% • Alternate (Kingston Fury DDR5-6000 32GB 219,90€ statt 246€) • Samsung Galaxy S22+ 5G 128 GB 839,99€ [Werbung]
    •  /