FreeBSD: Netflix streamt mit fast 400 GBit/s pro Server

Für sein Streaming-Angebot hat Netflix AMD-Hardware und das genutzte FreeBSD über Jahre extrem optimiert. Pläne für mehr gibt es bereits.

Artikel veröffentlicht am ,
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen.
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen. (Bild: Beata Zawrzel via Reuters Connect)

Für den Video-Streaming-Anbieter Netflix ist es technisch gesehen von Vorteil, möglichst schnell möglichst viel Videodaten bereitzustellen, ohne dabei zu sehr in Hardware investieren zu müssen. Der Entwickler Drew Gallatin optimiert deshalb unter anderem das genutzte FreeBSD-System so, dass das Verteilen der Videodaten möglichst nah an der technischen Grenze der Netzwerk-Hardware ist, wie er in einem Vortrag auf der EuroBSD-Konferenz (PDF) beschreibt. Ein einzelner Server erreicht dabei inzwischen Datenraten von fast 400 GBit/s.

Stellenmarkt
  1. Software Integration and Test Engineer HPC (m/f / diverse)
    Continental AG, Wetzlar
  2. SAP FICO Berater (m/w/x)
    über duerenhoff GmbH, Raum Frankfurt am Main
Detailsuche

Das grundlegende technische Problem dabei ist, dass aufgrund der Eigenschaften der Hardware und auch wegen bestimmter Software-Abläufe die technisch mögliche Grenze der Netzwerk-Hardware oft nicht erreicht werden kann. Dank verschiedener Optimierungen konnte Netflix die Datenraten dennoch von rund 200 GBit/s im vergangenen Jahr auf inzwischen 400 GBit/s pro Server steigern.

Probleme mit Hardware und Optimierungen als Abhilfe

Als Grundlage der Server dienen demnach die AMD-Epyc-7502P-CPUs (32 Kerne), denen 256 GByte DDR4-3200-Arbeitsspeicher zur Seite stehen. Zur Netzwerkanbindung dienen zwei Mellanox-ConnectX-6 Dx, die viermal 100GbE als Anschlüsse bieten. Optimale Ergebnisse werden dabei zunächst durch die Speicherbandbreite von etwa 240 GBit/s verhindert.

Ebenso limitiere die NUMA-Architektur der Epyc-CPUs den Fluss der Daten. Die große Datenmenge führe schlicht zur verzögerten Abarbeitung durch die CPU, da die Speicherzugriffe miteinander konkurrierten. Im besten Fall durchliefen die Daten also die NUMA-CPUs überhaupt nicht, so Gallatin.

Golem Karrierewelt
  1. Deep Dive: Data Governance Fundamentals: virtueller Ein-Tages-Workshop
    22.02.2023, Virtuell
  2. Certified Network Defender (CND): virtueller Fünf-Tage-Workshop
    17.-21.10.2022, Virtuell
Weitere IT-Trainings

Netflix testete deshalb die Nutzung nur einer einzelnen IP-Adresse pro Host und setzt auf Link-Aggregation. Die Idee dahinter war, Berechnungen mit bestimmten Daten möglichst immer auf einem der NUMA-Knoten durchzuführen, um so Transfers zu vermeiden. Der Wechsel von einem auf vier Knoten hat dabei wohl aber nur minimale Verbesserungen gebracht.

Kernel-TLS als Lösung

Um doch noch bessere Geschwindigkeiten zu erreichen, setzte das Team auf die Idee, die CPU möglichst weitgehend aus dem Datentransport herauszunehmen. Möglich macht das die nun genutzte Netzwerk-Hardware sowie die Verwendung eines TLS-Offloads mit Hilfe der TLS-Implementierung im FreeBSD-Kernel (kTLS).

Prime Video 30 Tage gratis testen

Details dazu hatte Gallatin bereits vor zwei Jahren in einem Vortrag beschrieben (PDF). Die eigentlich TLS-Sitzung wird dabei zwar noch im Userspace etabliert, die genutzten Schlüssel wandern mit Hilfe des Kernels dann schließlich aber bis zur Netzwerk-Hardware, wo die Verschlüsselung geschieht. Ein Umweg über die CPU ist nicht mehr nötig.

Mittels aktueller Firmware der Netzwerkkarten und TLS-Optimierungen erreicht Netflix so etwa 380 GBit/s Datenübertragung bei rund 400.000 aktiven Sitzungen pro Server. Mit ebenfalls getesteten ARM-Server-CPUs von Ampere erreicht das Team immerhin noch etwa 320 GBit/s, was wohl aber an der PCIe-Verbindung liege. Mit Intel-Hardware habe das Team das TLS-Offloading noch nicht testen können. Darüber hinaus hat das Team bereits Hardware-Prototypen, mit denen Netzwerkverbindungen bis zu 800 GBit/s möglich sein könnten, was das Team aber noch nicht getestet hat.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 22. Sep 2021

Mich wundert deine Erfahrung. Gerade NetBSD ist für mich ein Bastel-OS. Und Linux hat...

forenuser 22. Sep 2021

(...) Und auf einem Datenträger wird die definitiv vermieden weil...?

senf.dazu 21. Sep 2021

Dann können wir das ja jetzt endlich mal realistisch abschätzen um diesbezügliche Fake...

gaym0r 21. Sep 2021

Dafür gibts ja Cache-Server.



Aktuell auf der Startseite von Golem.de
Neue Grafikkarten
Erste Preise für Nvidias Geforce RTX 4090 aufgetaucht

Der US-Händler Newegg gibt einen Blick auf die Preise der Nvidia-Ada-Grafikkarten. Sie werden teurer als die Geforce RTX 3090 zuvor.

Neue Grafikkarten: Erste Preise für Nvidias Geforce RTX 4090 aufgetaucht
Artikel
  1. Smart Home Eco Systems: Was unterscheidet Alexa von Homekit von Google Home?
    Smart Home Eco Systems
    Was unterscheidet Alexa von Homekit von Google Home?

    Alexa, Homekit, Google Home - ist das nicht eigentlich alles das Gleiche? Nein, es gibt erhebliche Unterschiede bei Sprachsteuerung, Integration und Datenschutz. Ein Vergleich.
    Eine Analyse von Karl-Heinz Müller

  2. Hideo Kojima: Es sollte ein Death-Stranding-Spiel für Google Stadia geben
    Hideo Kojima
    Es sollte ein Death-Stranding-Spiel für Google Stadia geben

    Hideo Kojima arbeitete am Exklusivtitel für Stadia. Das wurde vorzeitig eingestellt, auch weil Google nicht an Einzelspieler-Games glaubte.

  3. Superbase V: Zendures Solarstation mit 6.400 Wh kommt mit hohem Rabatt
    Superbase V
    Zendures Solarstation mit 6.400 Wh kommt mit hohem Rabatt

    Vor dem Verkaufsstart über die eigene Webseite verkauft Zendure seine Superbase V über Kickstarter - mit teilweise fast 50 Prozent Rabatt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Razer DeathAdder V3 Pro 106,39€ • Alternate (u. a. Kingston FURY Beast RGB 32 GB DDR5-6000 226,89€, be quiet! Silent Base 802 Window 156,89€) • MindFactory (u. a. Kingston A400 240/480 GB 17,50€/32€) • SanDisk microSDXC 400 GB 29,99€ • PCGH-Ratgeber-PC 3000 Radeon Edition 2.500€ [Werbung]
    •  /