eBPF: Netflix verfolgt TCP-Fluss fast in Echtzeit

Trotz des massiven Netzwerks und seiner vielen Dienste kann Netflix fast in Echtzeit seinen Traffic verfolgen - und das auch fast ohne Last.

Artikel veröffentlicht am ,
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit".
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit". (Bild: Lucy Nicholson/Reuters)

Der Videostreaming-Anbieter Netflix berichtet in seinem Technology Blog von einer Anwendung, die es dem Unternehmen erlaubt, den "TCP-Fluss fast in Echtzeit" aufnehmen und verfolgen zu können. Dies geschehe zudem mit nur rund 1 Prozent mehr an CPU-Last und Speicherbedarf pro Instanz. In Anbetracht des extrem hohen Datenaufkommens von Netflix' Systemen ist das ein großer Vorteil.

Stellenmarkt
  1. Systemadministrator*in Desktopmanagement Produktions-IT
    SCHOTT AG, Mitterteich
  2. Senior Berater Informationssicherheit (gn)
    ESG Elektroniksystem- und Logistik-GmbH, Koblenz
Detailsuche

Netflix selbst beschreibt seine Infrastruktur in dem Blogpost so: "Die Netflix-Softwareinfrastruktur ist ein großes verteiltes Ökosystem, das aus spezialisierten Funktionsebenen besteht, die auf den AWS- und Netflix-eigenen Diensten betrieben werden." Die Nutzung der verschiedenen Dienste führe dann zu Herausforderungen.

So sei es schwierig, zentral den Datenfluss einzelner Anwendungen nachzuverfolgen. Auch könnten die schnellen Änderungen dazu führen, dass einige Dienste nicht mehr miteinander kommunizieren können. Das Wachstum verschiedener Dienste und Teams führe ebenfalls zu einer starken Aufteilung, die Einblick erschwere. Ebenso werde es mit wachsender Netzwerkgröße schwer, Engpässe frühzeitig zu erkennen.

Kernel-Technik hilft

Bei all dem soll nun also der selbst erstellte Flow Exporter helfen. Die Technik basiert wiederum auf der Linux-Kernel-Technik der sogenannten TCP Tracepoints sowie einem Fluss-Log auf Basis von eBPF, das ebenfalls im Kernel umgesetzt ist. Für den Transport der Daten setzt Netflix auf GRPC, HTTPS und UDP. Den so umgesetzten direkten Einblick in den Paketverlauf auf einzelnen Diensten exportiert Netflix etwa in diverse Visualisierungswerkzeuge.

Tolle Technik-Deals und viele weitere Schnäppchen
Golem Akademie
  1. OpenShift Installation & Administration
    9.-11. August 2021, online
  2. Cloud Computing mit Amazon Web Services (AWS)
    18.-20. Oktober 2021, Online
Weitere IT-Trainings

Darüber hinaus kommt ein sogenannter Flow Collector zum Einsatz, der diese Daten etwa mit dem Wechsel von IP-Adressen verknüpft. Laut Netflix können so direkt Metadaten einzelner Anwendungen mit deren exportiertem Datenfluss zusammengeführt werden. All das nutzt Netflix dann für mögliche Prognosen über die Netzwerkauslastung. Ebenso helfe dies beim Auftreten von Netzwerkproblemen. Das System von Netflix verarbeitet laut dem Blogpost nach einigen Iterationen inzwischen Milliarden an Log-Einträgen pro Stunde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Georg T.
Wieder Haft gegen Nichtzahler der Rundfunkgebühr

Georg T. sitzt seit 109 Tagen in Haft. Grund dafür sind 1.827 Euro Schulden für die Rundfunkgebühr - seine Haft kostet rund 18.000 Euro.

Georg T.: Wieder Haft gegen Nichtzahler der Rundfunkgebühr
Artikel
  1. MIG: Scheuers Funkloch GmbH hat erst zwei Stellen besetzt
    MIG
    Scheuers Funkloch GmbH hat erst zwei Stellen besetzt

    Der Bundesverkehrsminister scheint kein Personal für die Mobilfunkinfrastrukturgesellschaft zu finden.

  2. Square Enix: Action-Adventure mit den Guardians of the Galaxy angekündigt
    Square Enix
    Action-Adventure mit den Guardians of the Galaxy angekündigt

    E3 2021 Erinnert an Mass Effect, aber mit Humor und Groot: Square Enix will noch 2021 das Solo-Abenteuer Guardians of the Galaxy veröffentlichen.

  3. Bethesda: Starfield mit Rätseln und Doom Eternal mit 120 fps
    Bethesda
    Starfield mit Rätseln und Doom Eternal mit 120 fps

    E3 2021 Der Teaser von Starfield lädt zum Knoblen ein, Redfall bietet Blutsauger - und Doom Eternal erhält das Next-Gen-Grafikupdate.

Folgen Sie uns
       


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Alternate (u. a. MSI Optix 27" WQHD/165 Hz 315,99€ und Fractal Design Vector RS Blackout Dark TG 116,89€) • Corsair Hydro H80i V2 RGB 73,50€ • Apple iPad 10.2 389€ • Razer Book 13 1.158,13€ • Fractal Design Define S2 Black 99,90€ • Intel i9-11900 379€ • EPOS Sennheiser GSP 600 149€ [Werbung]
    •  /