Microservices: Netflix baut Encoding-Plattform komplett neu

Die Technik zum Video-Encoding bei Netflix hält dem Wachstum des Streaming-Anbieters nicht mehr stand.

Artikel veröffentlicht am ,
Netflix betreibt vor allem für sein Encoding viel Aufwand.
Netflix betreibt vor allem für sein Encoding viel Aufwand. (Bild: VALERIE MACON/AFP via Getty Images))

Die Videodateien, die der Streaming-Anbieter Netflix von Studios und anderen Herstellern bekommt, werden zum Ausspielen über die Plattform in unzähligen verschiedenen optimierten Formaten, Auflösungen und Qualitätsstufen kodiert. Seit der Einführung der dazu aktuell genutzten Plattform Reloaded vor sieben Jahren seien die Aufgaben aber um das Zehnfache gewachsen, was einige Probleme mit sich bringe, schreibt Netflix. Wie die Zuständigen nun im Engineering-Blog von Netflix schreiben, hat das Team die Plattform unter dem Namen Cosmos deshalb nun komplett neu erstellt.

Stellenmarkt
  1. Web-Entwickler (m/w/d)
    artvera GmbH & Co. KG, Berlin-Charlottenburg
  2. Consultant Digital Networks (m/w/d)
    operational services GmbH & Co. KG, Frankfurt am Main
Detailsuche

Die bisherige Architektur sei einzig auf die Aufgabe der Audio- und Videoverarbeitung bedacht gewesen und darauf, möglichst gut zu skalieren. Die dafür genutzte monolithische Architektur habe aber das Einführen neuer Funktionen immer stärker behindert. Auch sei das zuständige Team inzwischen deutlich angewachsen und nicht mehr alle Beteiligten hätten einen Überblick darüber gehabt, wie neue Funktionen überhaupt ausgerollt werden konnten. Das habe vor allem an der Verbindung von Infrastruktur-Code mit der eigentlichen Anwendungslogik gelegen.

Mit Comos hat das Team eigenen Angaben zufolge nun also einen Neuanfang gewagt und sich dabei an modernen Microservices-Architekturen orientiert. Zusätzlich zu der eigentlichen Encoding-Aufgabe sollte der neue Dienst dabei modular aufgebaut sein, ein deutlich besseres Monitoring, eigene Werkzeuge und vor allem eine Continuous-Delivery-Pipeline bieten. Letztere soll dafür sorgen, dass ein Code-Beitrag ohne zusätzliche Eingriffe direkt in die Produktionsumgebung ausgerollt werden kann.

Wie das Team selbst schreibt, handele es sich bei den Cosmos-Diensten aber um keine Microservices. Zwar würden die Anwendungsdaten und ihre Abhängigkeiten ebenso von anderen Systemen getrennt und die Dienste kommunizierten über klar festgelegte APIs. Für das eigentliche Encoding kämen jedoch sehr große und extrem rechenintensive Arbeiten hinzu. Jede dieser Aufgaben habe eigene Abhängigkeiten, lade diese dann als Docker-Container, die je nach Umfang der Encoding-Aufgabe auch mehrere Tausend verschiedene Container umfassen könne. Ebenso könne solch ein Durchlauf mehrere Stunden oder gar Tage dauern, bis er abgeschlossen sei.

Golem Akademie
  1. Cloud Computing mit Amazon Web Services (AWS): virtueller Drei-Tage-Workshop
    14.–16. Februar 2022, virtuell
  2. Azure und AWS Cloudnutzung absichern: virtueller Zwei-Tage-Workshop
    17.–18. März 2022, virtuell
Weitere IT-Trainings

Die Arbeiten an Comos hätten bereits im Jahr 2018 begonnen und die neue Architektur werde bereits seit 2019 teilweise produktiv genutzt. Doch erst im laufenden Jahr 2021 soll die Mehrheit der Arbeiten auf die neue Technik umgestellt werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Cloud-Ausfall
Eine AWS-Region als Single Point of Failure

Ein stundenlanger Ausfall der AWS-Cloud legte zentrale Dienste und sogar Amazon selbst teilweise lahm. Das zeigt die Grenzen der Cloud-Versprechen.
Ein Bericht von Sebastian Grüner

Cloud-Ausfall: Eine AWS-Region als Single Point of Failure
Artikel
  1. Ampelkoalition: Das Verkehrsministerium wird zum Digitalministerium
    Ampelkoalition
    Das Verkehrsministerium wird zum Digitalministerium

    Aus dem geplanten Ministerium für Verkehr und Digitales wird ein Ministerium für Digitales und Verkehr. Minister Wissing erhält zusätzliche Kompetenzen.

  2. Bundesnetzagentur: 30 Messungen an drei unterschiedlichen Kalendertagen
    Bundesnetzagentur
    30 Messungen an drei unterschiedlichen Kalendertagen

    Die Bundesnetzagentur hat festgelegt, wann der Netzbetreiber/Provider den Vertrag nicht erfüllt. Es muss viel gemessen werden.

  3. Euro NCAP: Renault Zoe mit katastrophalem Crash-Ergebnis
    Euro NCAP
    Renault Zoe mit katastrophalem Crash-Ergebnis

    Mit dem Renault Zoe sollte man keinen Unfall bauen. Im Euro-NCAP-Crashtest erhielt das Elektroauto null Sterne.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Acer-Monitore zu Bestpreisen (u. a. 27" FHD 165Hz OC 199€) • Kingston PCIe-SSD 1TB 69,90€ & 2TB 174,90€ • Samsung Smartphones & Watches günstiger • Saturn: Xiaomi Redmi Note 9 Pro 128GB 199€ • Alternate (u. a. Razer Opus Headset 69,99€) • Release: Halo Infinite 68,99€ [Werbung]
    •  /