FreeBSD: Netflix streamt mit fast 400 GBit/s pro Server

Für sein Streaming-Angebot hat Netflix AMD-Hardware und das genutzte FreeBSD über Jahre extrem optimiert. Pläne für mehr gibt es bereits.

Artikel veröffentlicht am ,
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen.
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen. (Bild: Beata Zawrzel via Reuters Connect)

Für den Video-Streaming-Anbieter Netflix ist es technisch gesehen von Vorteil, möglichst schnell möglichst viel Videodaten bereitzustellen, ohne dabei zu sehr in Hardware investieren zu müssen. Der Entwickler Drew Gallatin optimiert deshalb unter anderem das genutzte FreeBSD-System so, dass das Verteilen der Videodaten möglichst nah an der technischen Grenze der Netzwerk-Hardware ist, wie er in einem Vortrag auf der EuroBSD-Konferenz (PDF) beschreibt. Ein einzelner Server erreicht dabei inzwischen Datenraten von fast 400 GBit/s.

Stellenmarkt
  1. IT-Systemadministrator (m/w/d)
    Stadt Nürtingen, Nürtingen
  2. Data Engineer (m/w/d)
    Matrix42 AG, Frankfurt am Main
Detailsuche

Das grundlegende technische Problem dabei ist, dass aufgrund der Eigenschaften der Hardware und auch wegen bestimmter Software-Abläufe die technisch mögliche Grenze der Netzwerk-Hardware oft nicht erreicht werden kann. Dank verschiedener Optimierungen konnte Netflix die Datenraten dennoch von rund 200 GBit/s im vergangenen Jahr auf inzwischen 400 GBit/s pro Server steigern.

Probleme mit Hardware und Optimierungen als Abhilfe

Als Grundlage der Server dienen demnach die AMD-Epyc-7502P-CPUs (32 Kerne), denen 256 GByte DDR4-3200-Arbeitsspeicher zur Seite stehen. Zur Netzwerkanbindung dienen zwei Mellanox-ConnectX-6 Dx, die viermal 100GbE als Anschlüsse bieten. Optimale Ergebnisse werden dabei zunächst durch die Speicherbandbreite von etwa 240 GBit/s verhindert.

Ebenso limitiere die NUMA-Architektur der Epyc-CPUs den Fluss der Daten. Die große Datenmenge führe schlicht zur verzögerten Abarbeitung durch die CPU, da die Speicherzugriffe miteinander konkurrierten. Im besten Fall durchliefen die Daten also die NUMA-CPUs überhaupt nicht, so Gallatin.

Golem Akademie
  1. Docker & Containers - From Zero to Hero
    27.-29. Oktober 2021, online
  2. PostgreSQL Fundamentals
    6.-9. Dezember 2021, online
  3. Linux-Shellprogrammierung
    2.-5. November 2021, online
Weitere IT-Trainings

Netflix testete deshalb die Nutzung nur einer einzelnen IP-Adresse pro Host und setzt auf Link-Aggregation. Die Idee dahinter war, Berechnungen mit bestimmten Daten möglichst immer auf einem der NUMA-Knoten durchzuführen, um so Transfers zu vermeiden. Der Wechsel von einem auf vier Knoten hat dabei wohl aber nur minimale Verbesserungen gebracht.

Kernel-TLS als Lösung

Um doch noch bessere Geschwindigkeiten zu erreichen, setzte das Team auf die Idee, die CPU möglichst weitgehend aus dem Datentransport herauszunehmen. Möglich macht das die nun genutzte Netzwerk-Hardware sowie die Verwendung eines TLS-Offloads mit Hilfe der TLS-Implementierung im FreeBSD-Kernel (kTLS).

Prime Video 30 Tage gratis testen

Details dazu hatte Gallatin bereits vor zwei Jahren in einem Vortrag beschrieben (PDF). Die eigentlich TLS-Sitzung wird dabei zwar noch im Userspace etabliert, die genutzten Schlüssel wandern mit Hilfe des Kernels dann schließlich aber bis zur Netzwerk-Hardware, wo die Verschlüsselung geschieht. Ein Umweg über die CPU ist nicht mehr nötig.

Mittels aktueller Firmware der Netzwerkkarten und TLS-Optimierungen erreicht Netflix so etwa 380 GBit/s Datenübertragung bei rund 400.000 aktiven Sitzungen pro Server. Mit ebenfalls getesteten ARM-Server-CPUs von Ampere erreicht das Team immerhin noch etwa 320 GBit/s, was wohl aber an der PCIe-Verbindung liege. Mit Intel-Hardware habe das Team das TLS-Offloading noch nicht testen können. Darüber hinaus hat das Team bereits Hardware-Prototypen, mit denen Netzwerkverbindungen bis zu 800 GBit/s möglich sein könnten, was das Team aber noch nicht getestet hat.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 22. Sep 2021 / Themenstart

Mich wundert deine Erfahrung. Gerade NetBSD ist für mich ein Bastel-OS. Und Linux hat...

forenuser 22. Sep 2021 / Themenstart

(...) Und auf einem Datenträger wird die definitiv vermieden weil...?

senf.dazu 21. Sep 2021 / Themenstart

Dann können wir das ja jetzt endlich mal realistisch abschätzen um diesbezügliche Fake...

gaym0r 21. Sep 2021 / Themenstart

Dafür gibts ja Cache-Server.

jsonn 21. Sep 2021 / Themenstart

Weniger Konkurrenz. Wenn Du im Linux-Kernel eine Änderung durchsetzen möchtest, gibt es...

Kommentieren



Aktuell auf der Startseite von Golem.de
4700S Desktop Kit im Test
AMDs Playstation-5-Platine ist eine vertane Chance

Mit dem 4700S Desktop Kit bietet AMD höchstselbst die Hardware der Playstation 5 für den PC an. Das Board ist aber eine Sache für sich.
Ein Test von Marc Sauter

4700S Desktop Kit im Test: AMDs Playstation-5-Platine ist eine vertane Chance
Artikel
  1. Rockstar Games: Kleiner Hinweis auf große Zerstörungsorgien in GTA 6
    Rockstar Games
    Kleiner Hinweis auf große Zerstörungsorgien in GTA 6

    Neue Partikel und zerstörbare Wolkenkratzer: Rockstar Games sucht Spezialisten für solche Effekte - mutmaßlich für GTA 6.

  2. SUV mit Elektroantrieb: Tesla liefert neues Model X mit eckigem Lenkrad aus
    SUV mit Elektroantrieb
    Tesla liefert neues Model X mit eckigem Lenkrad aus

    Tesla hat die ersten Model X mit dem neuen Lenkrad, quer eingebautem Display und Falcon-Wings-Türen ausgeliefert.

  3. Internet im Van: Mein perfekt funktionierendes Wald-Office
    Internet im Van
    Mein perfekt funktionierendes Wald-Office

    In meinem Büro auf Rädern gibt es sechs Internetverbindungen. Sieben, wenn Starlink dazukommt. Habe ich damit das beste Internet Australiens?
    Eine Anleitung von Geoffrey Huntley

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week: Bis zu 360€ auf Gaming-Monitore & bis zu 22% auf Be Quiet • LG-TVs & Monitore zu Bestpreisen (u. a. Ultragear 34" Curved FHD 144Hz 359€) • Bosch-Werkzeug günstiger • Dell-Monitore günstiger • Horror-Filme reduziert • Mehrwertsteuer-Aktion bei MM: 19% auf viele Produkte [Werbung]
    •  /