eBPF: Netflix verfolgt TCP-Fluss fast in Echtzeit

Trotz des massiven Netzwerks und seiner vielen Dienste kann Netflix fast in Echtzeit seinen Traffic verfolgen - und das auch fast ohne Last.

Artikel veröffentlicht am ,
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit".
Netflix untersucht Milliarden Log-Einträge seines TCP-Datenflusses "fast in Echtzeit". (Bild: Lucy Nicholson/Reuters)

Der Videostreaming-Anbieter Netflix berichtet in seinem Technology Blog von einer Anwendung, die es dem Unternehmen erlaubt, den "TCP-Fluss fast in Echtzeit" aufnehmen und verfolgen zu können. Dies geschehe zudem mit nur rund 1 Prozent mehr an CPU-Last und Speicherbedarf pro Instanz. In Anbetracht des extrem hohen Datenaufkommens von Netflix' Systemen ist das ein großer Vorteil.

Stellenmarkt
  1. Bereichs-Informationssicherh- eitsbeauftragte*r (m/w/d) in der Stabstelle Sicherheit der Feuerwehr ... (m/w/d)
    Stadt Köln Berufsfeuerwehr, Amt für Feuerschutz, Rettungsdienst und Bevölkerungsschutz, Köln
  2. Teamleiter (m/w/d) Informationsmanagement SAP BW & SAP Basis
    Radeberger Gruppe KG, Frankfurt am Main
Detailsuche

Netflix selbst beschreibt seine Infrastruktur in dem Blogpost so: "Die Netflix-Softwareinfrastruktur ist ein großes verteiltes Ökosystem, das aus spezialisierten Funktionsebenen besteht, die auf den AWS- und Netflix-eigenen Diensten betrieben werden." Die Nutzung der verschiedenen Dienste führe dann zu Herausforderungen.

So sei es schwierig, zentral den Datenfluss einzelner Anwendungen nachzuverfolgen. Auch könnten die schnellen Änderungen dazu führen, dass einige Dienste nicht mehr miteinander kommunizieren können. Das Wachstum verschiedener Dienste und Teams führe ebenfalls zu einer starken Aufteilung, die Einblick erschwere. Ebenso werde es mit wachsender Netzwerkgröße schwer, Engpässe frühzeitig zu erkennen.

Kernel-Technik hilft

Bei all dem soll nun also der selbst erstellte Flow Exporter helfen. Die Technik basiert wiederum auf der Linux-Kernel-Technik der sogenannten TCP Tracepoints sowie einem Fluss-Log auf Basis von eBPF, das ebenfalls im Kernel umgesetzt ist. Für den Transport der Daten setzt Netflix auf GRPC, HTTPS und UDP. Den so umgesetzten direkten Einblick in den Paketverlauf auf einzelnen Diensten exportiert Netflix etwa in diverse Visualisierungswerkzeuge.

Tolle Technik-Deals und viele weitere Schnäppchen
Golem Akademie
  1. Netzwerktechnik Kompaktkurs
    8.-12. November 2021, online
  2. Terraform mit AWS
    14.-15. Dezember 2021, online
  3. AZ-104 Microsoft Azure Administrator
    13.-16. Dezember 2021, online
Weitere IT-Trainings

Darüber hinaus kommt ein sogenannter Flow Collector zum Einsatz, der diese Daten etwa mit dem Wechsel von IP-Adressen verknüpft. Laut Netflix können so direkt Metadaten einzelner Anwendungen mit deren exportiertem Datenfluss zusammengeführt werden. All das nutzt Netflix dann für mögliche Prognosen über die Netzwerkauslastung. Ebenso helfe dies beim Auftreten von Netzwerkproblemen. Das System von Netflix verarbeitet laut dem Blogpost nach einigen Iterationen inzwischen Milliarden an Log-Einträgen pro Stunde.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Microsoft
Das nächste große Update für Windows 10 kommt im November

Die Version 21H2 wurde wohl auch wegen Windows 11 etwas nach hinten verschoben. Der Patch soll nun aber im November für Windows 10 kommen.

Microsoft: Das nächste große Update für Windows 10 kommt im November
Artikel
  1. Silence S04: Günstiges Elektroauto mit herausnehmbaren Akku vorgestellt
    Silence S04
    Günstiges Elektroauto mit herausnehmbaren Akku vorgestellt

    Beim Elektroauto Silence S04 kann der Nutzer den Akku selbst wechseln, wenn dieser leergefahren ist.

  2. Arduino und Python: Bastler nimmt Audiokassette als Speichermedium für Retro-PC
    Arduino und Python
    Bastler nimmt Audiokassette als Speichermedium für Retro-PC

    Die Kassette kann nicht nur Lieder speichern, sondern auch Bitmuster. Ein Bastler baut dafür eine Schnittstelle mit 1,5 KBit/s Datenrate.

  3. Bis Ende 2022: VW-Manager müssen wegen Chipkrise Verbrenner fahren
    Bis Ende 2022
    VW-Manager müssen wegen Chipkrise Verbrenner fahren

    2022 werden VWs Manager den Kurs des Unternehmenschefs Herbert Diess nicht fahren können - Elektroautos und Hybride können als Dienstwagen nicht bestellt werden.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • AOC CQ32G2SE/BK 285,70€ • Dell Alienware AW2521H 360 Hz 499€ • Corsair Vengeance RGB PRO SL 64-GB-Kit 3600 253,64€ • DeepCool Castle 360EX 109,90€ • Phanteks Glacier One 240MP 105,89€ • Seagate SSDs & HDDs günstiger • Alternate (u. a. Thermaltake Core P3 TG Snow Ed. 121,89€) [Werbung]
    •  /