eBPF: Netflix verfolgt TCP-Fluss fast in Echtzeit

Trotz des massiven Netzwerks und seiner vielen Dienste kann Netflix fast in Echtzeit seinen Traffic verfolgen - und das auch fast ohne Last.

Artikel veröffentlicht am ,
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit".
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit". (Bild: Lucy Nicholson/Reuters)

Der Videostreaming-Anbieter Netflix berichtet in seinem Technology Blog von einer Anwendung, die es dem Unternehmen erlaubt, den "TCP-Fluss fast in Echtzeit" aufnehmen und verfolgen zu können. Dies geschehe zudem mit nur rund 1 Prozent mehr an CPU-Last und Speicherbedarf pro Instanz. In Anbetracht des extrem hohen Datenaufkommens von Netflix' Systemen ist das ein großer Vorteil.

Netflix selbst beschreibt seine Infrastruktur in dem Blogpost so: "Die Netflix-Softwareinfrastruktur ist ein großes verteiltes Ökosystem, das aus spezialisierten Funktionsebenen besteht, die auf den AWS- und Netflix-eigenen Diensten betrieben werden." Die Nutzung der verschiedenen Dienste führe dann zu Herausforderungen.

So sei es schwierig, zentral den Datenfluss einzelner Anwendungen nachzuverfolgen. Auch könnten die schnellen Änderungen dazu führen, dass einige Dienste nicht mehr miteinander kommunizieren können. Das Wachstum verschiedener Dienste und Teams führe ebenfalls zu einer starken Aufteilung, die Einblick erschwere. Ebenso werde es mit wachsender Netzwerkgröße schwer, Engpässe frühzeitig zu erkennen.

Kernel-Technik hilft

Bei all dem soll nun also der selbst erstellte Flow Exporter helfen. Die Technik basiert wiederum auf der Linux-Kernel-Technik der sogenannten TCP Tracepoints sowie einem Fluss-Log auf Basis von eBPF, das ebenfalls im Kernel umgesetzt ist. Für den Transport der Daten setzt Netflix auf GRPC, HTTPS und UDP. Den so umgesetzten direkten Einblick in den Paketverlauf auf einzelnen Diensten exportiert Netflix etwa in diverse Visualisierungswerkzeuge.

Darüber hinaus kommt ein sogenannter Flow Collector zum Einsatz, der diese Daten etwa mit dem Wechsel von IP-Adressen verknüpft. Laut Netflix können so direkt Metadaten einzelner Anwendungen mit deren exportiertem Datenfluss zusammengeführt werden. All das nutzt Netflix dann für mögliche Prognosen über die Netzwerkauslastung. Ebenso helfe dies beim Auftreten von Netzwerkproblemen. Das System von Netflix verarbeitet laut dem Blogpost nach einigen Iterationen inzwischen Milliarden an Log-Einträgen pro Stunde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
T-1000
Roboter aus Metall kann sich verflüssigen

Ein Team aus den USA und China hat einen Roboter entwickelt, der seinen Aggregatzustand von fest zu flüssig und zurück ändern kann.

T-1000: Roboter aus Metall kann sich verflüssigen
Artikel
  1. Trotz Exportverbot: Chinesische Kernforscher nutzen weiter US-Hardware
    Trotz Exportverbot
    Chinesische Kernforscher nutzen weiter US-Hardware

    An Chinas wichtigstes Kernforschungszentrum darf seit 25 Jahren keine US-Hardware geliefert werden. Dennoch nutzt es halbwegs aktuelle Xeons und GPUs.

  2. Playstation 5: Teaser wirbt für Spider-Man 2 - und Uncharted 5?
    Playstation 5
    Teaser wirbt für Spider-Man 2 - und Uncharted 5?

    Im Teaser springt Spider-Man durch Manhattan. Im gleichen Video könnte es einen Hinweis auf Uncharted 5 geben.

  3. Virtualisieren mit Windows, Teil 3: Betrieb und Pflege von VMs mit Hyper-V
    Virtualisieren mit Windows, Teil 3
    Betrieb und Pflege von VMs mit Hyper-V

    Hyper-V ist ein Hypervisor, um VMs effizient verwalten zu können. Trotz einiger weniger Schwächen ist es eine gute Virtualisierungssoftware, wir stellen sie in drei Teilen vor. Im letzten geht es um Betrieb und Pflege der VMs.
    Eine Anleitung von Holger Voges

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PCGH Cyber Week - Rabatte bis 50% • Acer Predator 32" WQHD 170Hz 529€ • MindStar-Tiefstpreise: MSI RTX 4090 1.982€, Sapphire RX 7900 XT 939€ • Philips Hue bis -50% • Asus Gaming-Laptops bis -25% • XFX Radeon RX 7900 XTX 1.199€ • Kingston 2TB 112,90€ • Nanoleaf bis -25% [Werbung]
    •  /