FreeBSD: Netflix streamt mit fast 400 GBit/s pro Server

Für sein Streaming-Angebot hat Netflix AMD-Hardware und das genutzte FreeBSD über Jahre extrem optimiert. Pläne für mehr gibt es bereits.

Artikel veröffentlicht am ,
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen.
Die Inhalte von Netflix sollten möglichst schnell zu den Kunden gelangen. (Bild: Beata Zawrzel via Reuters Connect)

Für den Video-Streaming-Anbieter Netflix ist es technisch gesehen von Vorteil, möglichst schnell möglichst viel Videodaten bereitzustellen, ohne dabei zu sehr in Hardware investieren zu müssen. Der Entwickler Drew Gallatin optimiert deshalb unter anderem das genutzte FreeBSD-System so, dass das Verteilen der Videodaten möglichst nah an der technischen Grenze der Netzwerk-Hardware ist, wie er in einem Vortrag auf der EuroBSD-Konferenz (PDF) beschreibt. Ein einzelner Server erreicht dabei inzwischen Datenraten von fast 400 GBit/s.

Stellenmarkt
  1. Wissenschaftliche Mitarbeiterin / Wissenschaftlicher Mitarbeiter (w/m/d) im Bereich Medizinische ... (m/w/d)
    Fachhochschule Aachen, Jülich
  2. IT-Inhouse Consultant (m/w/d)
    Elkamet Kunststofftechnik GmbH, Biedenkopf
Detailsuche

Das grundlegende technische Problem dabei ist, dass aufgrund der Eigenschaften der Hardware und auch wegen bestimmter Software-Abläufe die technisch mögliche Grenze der Netzwerk-Hardware oft nicht erreicht werden kann. Dank verschiedener Optimierungen konnte Netflix die Datenraten dennoch von rund 200 GBit/s im vergangenen Jahr auf inzwischen 400 GBit/s pro Server steigern.

Probleme mit Hardware und Optimierungen als Abhilfe

Als Grundlage der Server dienen demnach die AMD-Epyc-7502P-CPUs (32 Kerne), denen 256 GByte DDR4-3200-Arbeitsspeicher zur Seite stehen. Zur Netzwerkanbindung dienen zwei Mellanox-ConnectX-6 Dx, die viermal 100GbE als Anschlüsse bieten. Optimale Ergebnisse werden dabei zunächst durch die Speicherbandbreite von etwa 240 GBit/s verhindert.

Ebenso limitiere die NUMA-Architektur der Epyc-CPUs den Fluss der Daten. Die große Datenmenge führe schlicht zur verzögerten Abarbeitung durch die CPU, da die Speicherzugriffe miteinander konkurrierten. Im besten Fall durchliefen die Daten also die NUMA-CPUs überhaupt nicht, so Gallatin.

Golem Akademie
  1. Einführung in die Programmierung mit Rust
    21.-25. März 2022, online
  2. Elastic Stack Fundamentals - Elasticsearch, Logstash, Kibana, Beats
    26.-28. Oktober 2021, online
  3. Terraform mit AWS
    14.-15. Dezember 2021, online
Weitere IT-Trainings

Netflix testete deshalb die Nutzung nur einer einzelnen IP-Adresse pro Host und setzt auf Link-Aggregation. Die Idee dahinter war, Berechnungen mit bestimmten Daten möglichst immer auf einem der NUMA-Knoten durchzuführen, um so Transfers zu vermeiden. Der Wechsel von einem auf vier Knoten hat dabei wohl aber nur minimale Verbesserungen gebracht.

Kernel-TLS als Lösung

Um doch noch bessere Geschwindigkeiten zu erreichen, setzte das Team auf die Idee, die CPU möglichst weitgehend aus dem Datentransport herauszunehmen. Möglich macht das die nun genutzte Netzwerk-Hardware sowie die Verwendung eines TLS-Offloads mit Hilfe der TLS-Implementierung im FreeBSD-Kernel (kTLS).

Prime Video 30 Tage gratis testen

Details dazu hatte Gallatin bereits vor zwei Jahren in einem Vortrag beschrieben (PDF). Die eigentlich TLS-Sitzung wird dabei zwar noch im Userspace etabliert, die genutzten Schlüssel wandern mit Hilfe des Kernels dann schließlich aber bis zur Netzwerk-Hardware, wo die Verschlüsselung geschieht. Ein Umweg über die CPU ist nicht mehr nötig.

Mittels aktueller Firmware der Netzwerkkarten und TLS-Optimierungen erreicht Netflix so etwa 380 GBit/s Datenübertragung bei rund 400.000 aktiven Sitzungen pro Server. Mit ebenfalls getesteten ARM-Server-CPUs von Ampere erreicht das Team immerhin noch etwa 320 GBit/s, was wohl aber an der PCIe-Verbindung liege. Mit Intel-Hardware habe das Team das TLS-Offloading noch nicht testen können. Darüber hinaus hat das Team bereits Hardware-Prototypen, mit denen Netzwerkverbindungen bis zu 800 GBit/s möglich sein könnten, was das Team aber noch nicht getestet hat.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 22. Sep 2021 / Themenstart

Mich wundert deine Erfahrung. Gerade NetBSD ist für mich ein Bastel-OS. Und Linux hat...

forenuser 22. Sep 2021 / Themenstart

(...) Und auf einem Datenträger wird die definitiv vermieden weil...?

senf.dazu 21. Sep 2021 / Themenstart

Dann können wir das ja jetzt endlich mal realistisch abschätzen um diesbezügliche Fake...

gaym0r 21. Sep 2021 / Themenstart

Dafür gibts ja Cache-Server.

jsonn 21. Sep 2021 / Themenstart

Weniger Konkurrenz. Wenn Du im Linux-Kernel eine Änderung durchsetzen möchtest, gibt es...

Kommentieren



Aktuell auf der Startseite von Golem.de
4700S Desktop Kit im Test
AMDs Playstation-5-Platine ist eine vertane Chance

Mit dem 4700S Desktop Kit bietet AMD höchstselbst die Hardware der Playstation 5 für den PC an. Das Board ist aber eine Sache für sich.
Ein Test von Marc Sauter

4700S Desktop Kit im Test: AMDs Playstation-5-Platine ist eine vertane Chance
Artikel
  1. BKA warnt: Gefälschte Ausweiskontrolle am Telefon
    BKA warnt
    Gefälschte Ausweiskontrolle am Telefon

    Das Bundeskriminalamt warnt vor Anrufen im Namen der Behörde. Kriminelle wollen an die Personalausweis-Daten der Betroffenen gelangen.

  2. SUV mit Elektroantrieb: Tesla liefert neues Model X mit eckigem Lenkrad aus
    SUV mit Elektroantrieb
    Tesla liefert neues Model X mit eckigem Lenkrad aus

    Tesla hat die ersten Model X mit dem neuen Lenkrad, quer eingebautem Display und Falcon-Wings-Türen ausgeliefert.

  3. KB5006670: Windows-10-Update macht Netzwerkdrucker unbenutzbar
    KB5006670
    Windows-10-Update macht Netzwerkdrucker unbenutzbar

    Nach dem aktuellen Windows-10-Update funktioniert das Drucken im Netzwerk teils nicht mehr. Schuld daran ist das Update selbst.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Cyber Week: Bis zu 360€ auf Gaming-Monitore & bis zu 22% auf Be Quiet • LG-TVs & Monitore zu Bestpreisen (u. a. Ultragear 34" Curved FHD 144Hz 359€) • Bosch-Werkzeug günstiger • Dell-Monitore günstiger • Horror-Filme reduziert • MwSt-Aktion bei MM: Rabatte auf viele Produkte [Werbung]
    •  /