Daten: Die vier Innovationsphasen von Netflix

Wie Netflix zu einer riesigen Streamingplattform wurde, was dabei alles schiefging und was Plattformentwickler für ihre eigenen Streaming-Datenplattformen lernen können.

Ein Erfahrungsbericht von Zhenzhong Xu veröffentlicht am
In vier Phasen hat sich Netflix zum riesigen Streaminganbieter entwickelt.
In vier Phasen hat sich Netflix zum riesigen Streaminganbieter entwickelt. (Bild: Pixabay / Montage: Golem.de)

Dieser Text ist eine Übersetzung. Das Original von Zhenzhong Xu ist hier zu finden.

Mein Name ist Zhenzhong Xu. Angefangen habe ich bei Netflix als Gründungsingenieur im Team für die Echtzeit-Dateninfrastruktur. Später habe ich das Team für die Engines zur Streamverarbeitung geleitet. Das waren die wichtigsten Errungenschaften des Teams:

  • Bei den Anwendungsfällen für Streamingdaten sind wir in allen Bereichen bei Netflix von null auf über 2.000 gewachsen.
  • Wir haben erfolgreiche Produkte wie Keystone, eine verwaltete Flink-Plattform, Mantis und eine verwaltete Kafka-Plattform aufgebaut und weiterentwickelt. Diese Produkte bieten Lösungen für viele Aspekte der Datenlandschaft, einschließlich Anwendungsfällen in den Bereichen Datenaufnahme, Datenbewegung, analytische und operative Verarbeitung sowie maschinelles Lernen.
  • Wir gehörten branchenweit zu den ersten, die schon 2017 ein skaliertes Open-Source-Deployment für Kafka & Flink umgesetzt haben, um eine Billion Ereignisse pro Tag zu verarbeiten, was dann bis 2021 nochmals um den Faktor 20 skaliert wurde.

Vor einigen Monaten habe ich Netflix verlassen, um eine ähnliche, wenn auch größere Vision im Bereich des maschinellen Lernens in Echtzeit zu verfolgen. Hier möchte ich meine Erfahrungen aus dem Aufbau der Echtzeit-Dateninfrastruktur bei Netflix teilen.

Stellenmarkt
  1. Vehicle Systems Architect (f/m/d)
    Aptiv Services Deutschland GmbH, Wuppertal
  2. IT-Systemadministrator (m/w/d)
    Hays AG, Dresden
Detailsuche

Ich hoffe, damit Plattformentwicklern dabei zu helfen, ihre cloudeigenen, im Self-Service nutzbaren Streaming-Datenplattformen zu entwickeln und die Anwendungsfälle über viele Geschäftsfunktionen hinweg zu skalieren. Der Lerneffekt beruht dabei nicht unbedingt auf unserem Erfolg, sondern eher auf unseren Fehlschlägen.

Ich glaube außerdem, dass Kenntnisse zum Aufbau von Datenbanken für Plattformnutzer (beispielsweise Datenwissenschaftler und Ingenieure im Bereich maschinelles Lernen) hilfreich sind, um möglichst viel aus ihren Plattformen herauszuholen.

Wir haben bei Netflix vier Phasen der iterativen Reise zur Echtzeit-Dateninfrastruktur von 2015 bis 2021 durchlaufen.

Phase 1: Rettung der Netflix-Protokolle aus fehlerhaften Batch-Pipelines (2015). Während des globalen Megawachstums von Netflix beruhten die geschäftlichen und operativen Entscheidungen auf schnelleren Protokollierungsdaten. 2015 war die Skalierung von Batch-Pipelines auf der Basis von Chukwa/Hadoop/Hive extrem schwierig. In dieser Phase haben wir von Grund auf eine Plattform aufgebaut, bei der das Streaming oberste Priorität hatte, um die fehlerhaften Pipelines zu ersetzen.

Phase 2: Skalierung für Hunderte von Anwendungsfällen für Datenbewegungen (2016). Nach der ersten Produktveröffentlichung stieg die interne Nachfrage nach Datenbewegungen kontinuierlich. Wir mussten uns auf die häufigsten Anwendungsfälle konzentrieren. In dieser Phase gelang uns eine Skalierung, um Hunderte von Anwendungsfällen zu unterstützen. Hierzu haben wir eine im Self-Service betriebene, vollständig verwaltete Plattform mit einem einfachen, aber leistungsstarken Bausteinprinzip entwickelt.

Phase 3: Unterstützung für benutzerdefinierte Anforderungen und Skalierung von weit über tausend Anwendungsfällen (2017-2019) Als die Streamverarbeitung bei Netflix eine immer größere Dynamik entwickelte, forderten viele Teams eine niedrigere Latenz und eine höhere Verarbeitungsflexibilität in den Bereichen Data Engineering, Beobachtbarkeit und maschinelles Lernen. In dieser Phase haben wir eine neue Entwicklungserfahrung für die Streamverarbeitung aufgebaut, um benutzerdefinierte Anwendungsfälle zu ermöglichen. Außerdem haben wir uns neuen technische und operative Herausforderungen gestellt.

Phase 4: Erweiterte Zuständigkeiten bei der Streamverarbeitung - künftige Herausforderungen und Chancen (2020 bis heute). Mit der rasanten technologischen Entwicklung bei Datenplattformen in der Branche gehen viele neue Herausforderungen einher: Schwierigkeiten bei der Koordinierung, eine steile Lernkurve, Grenzen zwischen Stream und Batch und vieles mehr. In dieser Phase haben wir untersucht, wie die Streamverarbeitung eine prominentere Rolle bei Verbindungstechnologien spielen kann und wie die Abstraktion erhöht werden kann, um eine einfachere Nutzung von Datenplattformen zu erreichen. Vor uns liegen außerdem noch viele Chancen.

Ich stelle für jede Phase die sich ergebenden Geschäftsmotivationen, die einzigartigen Herausforderungen des Teams, die Strategiewetten und die Muster für die Anwendungsfälle vor, die wir auf dem Weg entdeckt haben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Phase 1: Rettung der Netflix-Protokolle 
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11
  12.  


Aktuell auf der Startseite von Golem.de
Google Fonts
Abmahnungen an Webseitenbetreiber mit Google-Schriftarten

Nach einer Entscheidung des Landgerichts München erhalten Webseitenbetreiber mit eingebundenen Google Fonts vermehrt Abmahnungen.

Google Fonts: Abmahnungen an Webseitenbetreiber mit Google-Schriftarten
Artikel
  1. Paw Patrol: US Space Force schickt Roboterhunde auf Patrouille
    Paw Patrol
    US Space Force schickt Roboterhunde auf Patrouille

    Die US Space Force wird einen hundeähnlichen Roboter von Ghost Robotics auf Patrouille schicken, um Personalkosten zu senken.

  2. Programmiersprache: JSON-Erfinder will Javascript in Rente schicken
    Programmiersprache
    JSON-Erfinder will Javascript in Rente schicken

    Douglas Crockford, der Erfinder des Datenformats JSON und Mitentwickler von Javascript, findet, dass die Sprache in Rente geschickt werden sollte.

  3. Windows auf dem Mac: Parallels wird merklich teurer
    Windows auf dem Mac
    Parallels wird merklich teurer

    Parallels 18 bietet eine native Unterstützung für Windows 11 und eine bessere Ressourcenzuweisung. Allerdings wird die Software teurer.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Günstig wie nie: WD SSD 1TB m. Kühlkörper (PS5) 119,90€, MSI 29,5" 200 Hz 259€, LG QNED 75" 120 Hz 1.455,89€ • MindStar (XFX RX 6950 XT 999€, Gainward RTX 3070 559€) • Gigabyte Deals • Der beste Gaming-PC für 2.000€ • Apple Week bei Media Markt • be quiet! Deals [Werbung]
    •  /