eBPF: Netflix verfolgt TCP-Fluss fast in Echtzeit

Trotz des massiven Netzwerks und seiner vielen Dienste kann Netflix fast in Echtzeit seinen Traffic verfolgen - und das auch fast ohne Last.

Artikel veröffentlicht am ,
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit".
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit". (Bild: Lucy Nicholson/Reuters)

Der Videostreaming-Anbieter Netflix berichtet in seinem Technology Blog von einer Anwendung, die es dem Unternehmen erlaubt, den "TCP-Fluss fast in Echtzeit" aufnehmen und verfolgen zu können. Dies geschehe zudem mit nur rund 1 Prozent mehr an CPU-Last und Speicherbedarf pro Instanz. In Anbetracht des extrem hohen Datenaufkommens von Netflix' Systemen ist das ein großer Vorteil.

Stellenmarkt
  1. User Interface Designer (m/w/d) - Designstudio Siemens
    BSH Hausgeräte GmbH, München
  2. Senior IT-Projektverantwortung (m/w/d)
    HiScout GmbH, Berlin
Detailsuche

Netflix selbst beschreibt seine Infrastruktur in dem Blogpost so: "Die Netflix-Softwareinfrastruktur ist ein großes verteiltes Ökosystem, das aus spezialisierten Funktionsebenen besteht, die auf den AWS- und Netflix-eigenen Diensten betrieben werden." Die Nutzung der verschiedenen Dienste führe dann zu Herausforderungen.

So sei es schwierig, zentral den Datenfluss einzelner Anwendungen nachzuverfolgen. Auch könnten die schnellen Änderungen dazu führen, dass einige Dienste nicht mehr miteinander kommunizieren können. Das Wachstum verschiedener Dienste und Teams führe ebenfalls zu einer starken Aufteilung, die Einblick erschwere. Ebenso werde es mit wachsender Netzwerkgröße schwer, Engpässe frühzeitig zu erkennen.

Kernel-Technik hilft

Bei all dem soll nun also der selbst erstellte Flow Exporter helfen. Die Technik basiert wiederum auf der Linux-Kernel-Technik der sogenannten TCP Tracepoints sowie einem Fluss-Log auf Basis von eBPF, das ebenfalls im Kernel umgesetzt ist. Für den Transport der Daten setzt Netflix auf GRPC, HTTPS und UDP. Den so umgesetzten direkten Einblick in den Paketverlauf auf einzelnen Diensten exportiert Netflix etwa in diverse Visualisierungswerkzeuge.

Tolle Technik-Deals und viele weitere Schnäppchen
Golem Akademie
  1. Terraform mit AWS
    14./15. September 2021, online
  2. Cloud Computing mit Amazon Web Services (AWS)
    18.-20. Oktober 2021, Online
Weitere IT-Trainings

Darüber hinaus kommt ein sogenannter Flow Collector zum Einsatz, der diese Daten etwa mit dem Wechsel von IP-Adressen verknüpft. Laut Netflix können so direkt Metadaten einzelner Anwendungen mit deren exportiertem Datenfluss zusammengeführt werden. All das nutzt Netflix dann für mögliche Prognosen über die Netzwerkauslastung. Ebenso helfe dies beim Auftreten von Netzwerkproblemen. Das System von Netflix verarbeitet laut dem Blogpost nach einigen Iterationen inzwischen Milliarden an Log-Einträgen pro Stunde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Glasfaser
Berliner Senat blamiert sich mit Gigabitstrategie

Der Berliner Senat ist nach Jahren aus dem Dämmerzustand hochgeschreckt und hat nun eine Gigabitstrategie. Warum haben sie nicht einfach geschwiegen?
Ein IMHO von Achim Sawall

Glasfaser: Berliner Senat blamiert sich mit Gigabitstrategie
Artikel
  1. Mobiles Betriebssystem: iOS 15 reserviert einige Funktionen für neue iPhones
    Mobiles Betriebssystem
    iOS 15 reserviert einige Funktionen für neue iPhones

    iOS 15 unterstützt zwar noch sechs Jahre alte iPhones, doch erst ab dem iPhone XS kommen Nutzer in den Genuss aller neuen Funktionen.

  2. Laden automatisiert: Tesla-Besitzer baut Laderoboter für die Wallbox
    Laden automatisiert
    Tesla-Besitzer baut Laderoboter für die Wallbox

    Ein selbstgebauter Roboter steckt das Ladekabel automatisch in den Tesla, wenn das Elektroauto in der Garage steht.

  3. Razer: Der erste Blade-Laptop mit Ryzen ist da
    Razer
    Der erste Blade-Laptop mit Ryzen ist da

    Wieder 14 Zoll, erstmals mit AMD-Chip: Das neue Razer Blade kombiniert einen 75-Watt-Ryzen mit der flottesten Geforce RTX.
    Ein Hands-on von Marc Sauter

Folgen Sie uns
       


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Dualsense 59,99€ • Battlefield 2042 PC 53,99€ • XXL Sale bei Alternate • Rainbow Six Extraction Limited PS5 69,99€ • Sony Pulse 3D-Headset PS5 99,99€ • Snakebyte Gaming Seat Evo 149,99€ • Bethesda E3 Promo bei GP [Werbung]
    •  /