eBPF: Netflix verfolgt TCP-Fluss fast in Echtzeit

Trotz des massiven Netzwerks und seiner vielen Dienste kann Netflix fast in Echtzeit seinen Traffic verfolgen - und das auch fast ohne Last.

Artikel veröffentlicht am ,
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit".
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit". (Bild: Lucy Nicholson/Reuters)

Der Videostreaming-Anbieter Netflix berichtet in seinem Technology Blog von einer Anwendung, die es dem Unternehmen erlaubt, den "TCP-Fluss fast in Echtzeit" aufnehmen und verfolgen zu können. Dies geschehe zudem mit nur rund 1 Prozent mehr an CPU-Last und Speicherbedarf pro Instanz. In Anbetracht des extrem hohen Datenaufkommens von Netflix' Systemen ist das ein großer Vorteil.

Stellenmarkt
  1. (Senior) Mobile Developer (m/w/d) Android und iOS
    AUSY Technologies Germany AG, verschiedene Standorte
  2. DevOps und Quality Assurance Engineer (m/w/d)
    Trianel GmbH, Aachen
Detailsuche

Netflix selbst beschreibt seine Infrastruktur in dem Blogpost so: "Die Netflix-Softwareinfrastruktur ist ein großes verteiltes Ökosystem, das aus spezialisierten Funktionsebenen besteht, die auf den AWS- und Netflix-eigenen Diensten betrieben werden." Die Nutzung der verschiedenen Dienste führe dann zu Herausforderungen.

So sei es schwierig, zentral den Datenfluss einzelner Anwendungen nachzuverfolgen. Auch könnten die schnellen Änderungen dazu führen, dass einige Dienste nicht mehr miteinander kommunizieren können. Das Wachstum verschiedener Dienste und Teams führe ebenfalls zu einer starken Aufteilung, die Einblick erschwere. Ebenso werde es mit wachsender Netzwerkgröße schwer, Engpässe frühzeitig zu erkennen.

Kernel-Technik hilft

Bei all dem soll nun also der selbst erstellte Flow Exporter helfen. Die Technik basiert wiederum auf der Linux-Kernel-Technik der sogenannten TCP Tracepoints sowie einem Fluss-Log auf Basis von eBPF, das ebenfalls im Kernel umgesetzt ist. Für den Transport der Daten setzt Netflix auf GRPC, HTTPS und UDP. Den so umgesetzten direkten Einblick in den Paketverlauf auf einzelnen Diensten exportiert Netflix etwa in diverse Visualisierungswerkzeuge.

Hohe Rabatte bei den Amazon Blitzangeboten
Golem Akademie
  1. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    21.–25. Februar 2022, Virtuell
  2. Netzwerktechnik Kompaktkurs: virtueller Fünf-Tage-Workshop
    14.–18. Februar 2022, virtuell
Weitere IT-Trainings

Darüber hinaus kommt ein sogenannter Flow Collector zum Einsatz, der diese Daten etwa mit dem Wechsel von IP-Adressen verknüpft. Laut Netflix können so direkt Metadaten einzelner Anwendungen mit deren exportiertem Datenfluss zusammengeführt werden. All das nutzt Netflix dann für mögliche Prognosen über die Netzwerkauslastung. Ebenso helfe dies beim Auftreten von Netzwerkproblemen. Das System von Netflix verarbeitet laut dem Blogpost nach einigen Iterationen inzwischen Milliarden an Log-Einträgen pro Stunde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Framework Laptop im Hardware-Test
Schrauber aller Länder, vereinigt euch!

Der modulare Framework Laptop ist ein wahrgewordener Basteltraum. Und unsere Begeisterung für das, was damit alles möglich ist, lässt sich nur schwer bändigen.
Ein Test von Oliver Nickel und Sebastian Grüner

Framework Laptop im Hardware-Test: Schrauber aller Länder, vereinigt euch!
Artikel
  1. FTTH: Liberty Network startet noch mal in Deutschland
    FTTH
    Liberty Network startet noch mal in Deutschland

    Das erste FTTH-Projekt ist gescheitert. Jetzt wandert Liberty von Brandenburg nach Bayern an den Starnberger See.

  2. 5.000 Dollar Belohnung: Elon Musk wollte Twitter-Konto von 19-Jährigem stilllegen
    5.000 Dollar Belohnung
    Elon Musk wollte Twitter-Konto von 19-Jährigem stilllegen

    Tesla-Chef Elon Musk bot einem US-Teenager jüngst angeblich 5.000 US-Dollar, damit der seinen auf Twitter betriebenen Flight-Tracker einstellt.

  3. Let's Encrypt: Was Admins heute tun müssen
    Let's Encrypt
    Was Admins heute tun müssen

    Heute um 17 Uhr werden bei Let's Encrypt Zertifikate zurückgezogen. Wir beschreiben, wie Admins prüfen können, ob sie betroffen sind.
    Eine Anleitung von Hanno Böck

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3080 12GB 1.499€ • iPhone 13 Pro 512GB 1.349€ • DXRacer Gaming-Stuhl 159€ • LG OLED 55 Zoll 1.149€ • PS5 Digital mit o2-Vertrag bestellbar • Prime-Filme für je 0,99€ leihen • One Plus Nord 2 335€ • Intel i7 3,6Ghz 399€ • Alternate: u.a. Sennheiser Gaming-Headset 169,90€ [Werbung]
    •  /