FreeBSD: Netflix streamt mit fast 400 GBit/s pro Server

Für sein Streaming-Angebot hat Netflix AMD-Hardware und das genutzte FreeBSD über Jahre extrem optimiert. Pläne für mehr gibt es bereits.

Artikel veröffentlicht am ,
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen.
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen. (Bild: Beata Zawrzel via Reuters Connect)

Für den Video-Streaming-Anbieter Netflix ist es technisch gesehen von Vorteil, möglichst schnell möglichst viel Videodaten bereitzustellen, ohne dabei zu sehr in Hardware investieren zu müssen. Der Entwickler Drew Gallatin optimiert deshalb unter anderem das genutzte FreeBSD-System so, dass das Verteilen der Videodaten möglichst nah an der technischen Grenze der Netzwerk-Hardware ist, wie er in einem Vortrag auf der EuroBSD-Konferenz (PDF) beschreibt. Ein einzelner Server erreicht dabei inzwischen Datenraten von fast 400 GBit/s.

Stellenmarkt
  1. Senior Softwareentwickler (m/w/d)
    SelectLine Software GmbH, Magdeburg
  2. IT Service Delivery Manager (m/w/d)
    nora systems GmbH, Weinheim
Detailsuche

Das grundlegende technische Problem dabei ist, dass aufgrund der Eigenschaften der Hardware und auch wegen bestimmter Software-Abläufe die technisch mögliche Grenze der Netzwerk-Hardware oft nicht erreicht werden kann. Dank verschiedener Optimierungen konnte Netflix die Datenraten dennoch von rund 200 GBit/s im vergangenen Jahr auf inzwischen 400 GBit/s pro Server steigern.

Probleme mit Hardware und Optimierungen als Abhilfe

Als Grundlage der Server dienen demnach die AMD-Epyc-7502P-CPUs (32 Kerne), denen 256 GByte DDR4-3200-Arbeitsspeicher zur Seite stehen. Zur Netzwerkanbindung dienen zwei Mellanox-ConnectX-6 Dx, die viermal 100GbE als Anschlüsse bieten. Optimale Ergebnisse werden dabei zunächst durch die Speicherbandbreite von etwa 240 GBit/s verhindert.

Ebenso limitiere die NUMA-Architektur der Epyc-CPUs den Fluss der Daten. Die große Datenmenge führe schlicht zur verzögerten Abarbeitung durch die CPU, da die Speicherzugriffe miteinander konkurrierten. Im besten Fall durchliefen die Daten also die NUMA-CPUs überhaupt nicht, so Gallatin.

Golem Akademie
  1. OpenShift Installation & Administration
    31. Januar-2. Februar 2022, online
  2. Linux-Systemadministration Grundlagen
    25.-29. Oktober 2021, online
  3. Advanced Python - Fortgeschrittene Programmierthemen
    27.-28. Januar 2022, online
Weitere IT-Trainings

Netflix testete deshalb die Nutzung nur einer einzelnen IP-Adresse pro Host und setzt auf Link-Aggregation. Die Idee dahinter war, Berechnungen mit bestimmten Daten möglichst immer auf einem der NUMA-Knoten durchzuführen, um so Transfers zu vermeiden. Der Wechsel von einem auf vier Knoten hat dabei wohl aber nur minimale Verbesserungen gebracht.

Kernel-TLS als Lösung

Um doch noch bessere Geschwindigkeiten zu erreichen, setzte das Team auf die Idee, die CPU möglichst weitgehend aus dem Datentransport herauszunehmen. Möglich macht das die nun genutzte Netzwerk-Hardware sowie die Verwendung eines TLS-Offloads mit Hilfe der TLS-Implementierung im FreeBSD-Kernel (kTLS).

Prime Video 30 Tage gratis testen

Details dazu hatte Gallatin bereits vor zwei Jahren in einem Vortrag beschrieben (PDF). Die eigentlich TLS-Sitzung wird dabei zwar noch im Userspace etabliert, die genutzten Schlüssel wandern mit Hilfe des Kernels dann schließlich aber bis zur Netzwerk-Hardware, wo die Verschlüsselung geschieht. Ein Umweg über die CPU ist nicht mehr nötig.

Mittels aktueller Firmware der Netzwerkkarten und TLS-Optimierungen erreicht Netflix so etwa 380 GBit/s Datenübertragung bei rund 400.000 aktiven Sitzungen pro Server. Mit ebenfalls getesteten ARM-Server-CPUs von Ampere erreicht das Team immerhin noch etwa 320 GBit/s, was wohl aber an der PCIe-Verbindung liege. Mit Intel-Hardware habe das Team das TLS-Offloading noch nicht testen können. Darüber hinaus hat das Team bereits Hardware-Prototypen, mit denen Netzwerkverbindungen bis zu 800 GBit/s möglich sein könnten, was das Team aber noch nicht getestet hat.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 22. Sep 2021 / Themenstart

Mich wundert deine Erfahrung. Gerade NetBSD ist für mich ein Bastel-OS. Und Linux hat...

forenuser 22. Sep 2021 / Themenstart

(...) Und auf einem Datenträger wird die definitiv vermieden weil...?

senf.dazu 21. Sep 2021 / Themenstart

Dann können wir das ja jetzt endlich mal realistisch abschätzen um diesbezügliche Fake...

gaym0r 21. Sep 2021 / Themenstart

Dafür gibts ja Cache-Server.

jsonn 21. Sep 2021 / Themenstart

Weniger Konkurrenz. Wenn Du im Linux-Kernel eine Änderung durchsetzen möchtest, gibt es...

Kommentieren



Aktuell auf der Startseite von Golem.de
Age of Empires 4 im Test
Im Galopp durch die Geschichte

Acht Völker aus aller Welt: Das Echtzeit-Strategiespiel Age of Empires 4 schickt uns auf Windows-PC in spannende Kämpfe in aller Welt.
Von Peter Steinlechner

Age of Empires 4 im Test: Im Galopp durch die Geschichte
Artikel
  1. Elektroautos: BMW-Hauptwerk beendet 2024 Verbrennerproduktion
    Elektroautos
    BMW-Hauptwerk beendet 2024 Verbrennerproduktion

    BMW steigt zwar nicht komplett aus dem Verbrennergeschäft aus, doch ab 2024 sollen in Münchner Stammwerk keine Verbrennungsmotoren mehr gebaut werden.

  2. Hasbro: Halo Needler kommt als Nerf-Gun
    Hasbro
    Halo Needler kommt als Nerf-Gun

    Der Halo Needler kann motorisiert zehn Nerf-Elite-Darts verschießen und kommt mit Effektbeleuchtung und einem Standfuß.

  3. HT Aero: Xpeng kündigt fliegendes Auto an
    HT Aero
    Xpeng kündigt fliegendes Auto an

    HT Aero heißt das Flugauto, das der chinesische Autohersteller Xpeng 2024 auf den Markt bringen will.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Bosch Professional & Lexware Steuersoftware bei Amazon günstiger • Alternate (u. a. Apacer 1TB SATA-SSD 86,90 & Team Group 1TB PCIe-4.0-SSD 159,90) • Asus ROG Strix Z590-A Gaming WIFI 258€ • Saturn Gutscheinheft mit Direktabzügen und Zugaben • Seagate SSDs & HDDs günstiger [Werbung]
    •  /