• IT-Karriere:
  • Services:

Microservices: Netflix baut Encoding-Plattform komplett neu

Die Technik zum Video-Encoding bei Netflix hält dem Wachstum des Streaming-Anbieters nicht mehr stand.

Artikel veröffentlicht am ,
Netflix betreibt vor allem für sein Encoding viel Aufwand.
Netflix betreibt vor allem für sein Encoding viel Aufwand. (Bild: VALERIE MACON/AFP via Getty Images))

Die Videodateien, die der Streaming-Anbieter Netflix von Studios und anderen Herstellern bekommt, werden zum Ausspielen über die Plattform in unzähligen verschiedenen optimierten Formaten, Auflösungen und Qualitätsstufen kodiert. Seit der Einführung der dazu aktuell genutzten Plattform Reloaded vor sieben Jahren seien die Aufgaben aber um das Zehnfache gewachsen, was einige Probleme mit sich bringe, schreibt Netflix. Wie die Zuständigen nun im Engineering-Blog von Netflix schreiben, hat das Team die Plattform unter dem Namen Cosmos deshalb nun komplett neu erstellt.

Stellenmarkt
  1. Bundesamt für Migration und Flüchtlinge, Nürnberg
  2. Melitta Business Service Center GmbH & Co. KG, Minden

Die bisherige Architektur sei einzig auf die Aufgabe der Audio- und Videoverarbeitung bedacht gewesen und darauf, möglichst gut zu skalieren. Die dafür genutzte monolithische Architektur habe aber das Einführen neuer Funktionen immer stärker behindert. Auch sei das zuständige Team inzwischen deutlich angewachsen und nicht mehr alle Beteiligten hätten einen Überblick darüber gehabt, wie neue Funktionen überhaupt ausgerollt werden konnten. Das habe vor allem an der Verbindung von Infrastruktur-Code mit der eigentlichen Anwendungslogik gelegen.

Mit Comos hat das Team eigenen Angaben zufolge nun also einen Neuanfang gewagt und sich dabei an modernen Microservices-Architekturen orientiert. Zusätzlich zu der eigentlichen Encoding-Aufgabe sollte der neue Dienst dabei modular aufgebaut sein, ein deutlich besseres Monitoring, eigene Werkzeuge und vor allem eine Continuous-Delivery-Pipeline bieten. Letztere soll dafür sorgen, dass ein Code-Beitrag ohne zusätzliche Eingriffe direkt in die Produktionsumgebung ausgerollt werden kann.

Wie das Team selbst schreibt, handele es sich bei den Cosmos-Diensten aber um keine Microservices. Zwar würden die Anwendungsdaten und ihre Abhängigkeiten ebenso von anderen Systemen getrennt und die Dienste kommunizierten über klar festgelegte APIs. Für das eigentliche Encoding kämen jedoch sehr große und extrem rechenintensive Arbeiten hinzu. Jede dieser Aufgaben habe eigene Abhängigkeiten, lade diese dann als Docker-Container, die je nach Umfang der Encoding-Aufgabe auch mehrere Tausend verschiedene Container umfassen könne. Ebenso könne solch ein Durchlauf mehrere Stunden oder gar Tage dauern, bis er abgeschlossen sei.

Golem Akademie
  1. OpenShift Installation & Administration
    14.-16. Juni 2021, online
  2. Terraform mit AWS
    4./5. Mai 2021, online
Weitere IT-Trainings

Die Arbeiten an Comos hätten bereits im Jahr 2018 begonnen und die neue Architektur werde bereits seit 2019 teilweise produktiv genutzt. Doch erst im laufenden Jahr 2021 soll die Mehrheit der Arbeiten auf die neue Technik umgestellt werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (u. a. eFootball PES 2021 für 7,99€, Assetto Corsa Competizione für 16,99€,
  2. 16,99€
  3. 48,99€

Lurchie85 04. Mär 2021 / Themenstart

Prime bietet doch die Möglichkeit zu filtern 0_o Auf meinem fire TV kann ich das per Tab...

Pete Sabacker 04. Mär 2021 / Themenstart

Du kannst auch skalierbare Monolithen bauen. Keiner braucht Microservices dafür...

1e3ste4 04. Mär 2021 / Themenstart

Das was du meinst, nennt man Image. Container sind aus Images erzeugte Instanzen.

Kommentieren


Folgen Sie uns
       


Mafia (2002) - Golem retro_

Wer in der Mafia hoch hinaus will, muss loyal sein - ansonsten verstößt ihn die Familie. In Golem retro_ haben wir das erneut selbst erlebt.

Mafia (2002) - Golem retro_ Video aufrufen
Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /