DHCPLB: Facebooks Loadbalancer verringern Hardware auf ein Zehntel

Zum Provisionieren seiner Server nutzt Facebook DHCP. Dank eines eigenen Loadbalancers und Servers konnte das Unternehmen die benötigte Hardware bei gleichem Traffic-Aufkommen massiv reduzieren. Die Software dazu ist Open Source.

Artikel veröffentlicht am ,
Die Server von Facebook werden per DHCP provisioniert.
Die Server von Facebook werden per DHCP provisioniert. (Bild: Facebook)

Facebook stellt in seinem Entwicklerblog seine aktuelle Infrastruktur für DHCP und das dafür genutzte Loadbalancing vor. Dank verschiedener Neuerungen sehe Facebook damit einen "besseren Durchsatz". Weiter heißt es: "Tatsächlich verarbeiten wir jetzt das gleiche Verkehrsvolumen mit zehnmal weniger Servern". Der grundlegenden Code dazu ist nun als Open Source verfügbar.

Stellenmarkt
  1. Technischer Support-Mitarbeiter (m/w/x)
    HOTTGENROTH & TACOS GmbH, Münsterland
  2. SCRUM-Master (m/w/d)
    BSH Hausgeräte GmbH, Traunreut
Detailsuche

In seinen Rechenzentren nutzt Facebook nach eigenen Angaben DHCP als Verwaltungsprotokoll, um die Bare-Metal-Server zu provisionieren, also etwa um darauf Betriebssysteme zu installieren. In den vergangenen Jahren hat das dafür zuständige Team viel Arbeit investiert, um die dazu nötige Infrastruktur möglichst skalierbar zu gestalten. Dies ist klar iterativ geschehen und gipfelt vorerst in den nun vorgestellten DHCPLB-Servern.

Begonnen hat das Team mit dem DHCP-Server des ISC, der Referenzimplementierung für das Protokoll. Dieser wurde jedoch schnell durch den KEA-DCHP-Server der ISC ersetzt. Dem Blogeintrag zufolge wurde der Netzwerkverkehr jedoch nicht gleichmäßig auf die KEA-Instanzen verteilt. Das Team erstellte deshalb einen Relay-Server, der DHCP-Requests gleichmäßig auf die Kea-Server verteilt - also einen Load Balancer für DHCP (DHCPLB).

Multi-Thread DHCP-Server und Load-Balancer

Doch auch das reichte für das Unternehmen nicht aus, da Kea eine Single-Thread-Anwendung ist, was den Netzwerkverkehr unter Umständen massiv blockieren kann. Im Zuge eines Hackathons erstellte das Team deshalb eine neue DHCP-Bibliothek, die in Go geschrieben ist und einen Multi-Thread-Ansatz implementiert.

Golem Akademie
  1. Linux-Systeme absichern und härten
    8.-10. November 2021, online
  2. Python kompakt - Einführung für Softwareentwickler
    28.-29. Oktober 2021, online
  3. Advanced Python - Fortgeschrittene Programmierthemen
    27.-28. Januar 2022, online
Weitere IT-Trainings

Die Entwickler des Unternehmens haben schließlich die neue Bibliothek mit ihrem bereits vorhandenen Loadbalancer für DHCP kombiniert und so zu einem vollwertigen DHCP-Server ausgebaut, der deutlich mehr Netzwerkverkehr verarbeiten kann, als das vorher genutzte KEA. Selbst mit einer stark steigenden Anzahl von Anfragen pro Sekunde bleibt die Latenz des neuen Aufbaus außerdem nahezu konstant, während diese bei KEA immer weiter gewachsen ist.

Der Code für diesen Aufbau hat Facebook als Framework auf Github veröffentlicht.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


hhofstaetter 31. Mai 2019

"In seinen Rechenzentren nutzt Facebook nach eigenen Angaben DHCP als...

Jdbdbskslfjwbal 29. Mai 2019

Lt Blogeintrag benutzen die bisher BGP quasi als LB. BGP kümmert es aber nicht, wie die...



Aktuell auf der Startseite von Golem.de
Computerspiele
Geniale Geheimtipps von Atomkraft bis Alltag

Radioaktive Abenteuer in Chernobylite und der (vermeintliche) Alltag in The Last Stop: Golem.de stellt ungewöhnliche Spiele-Neuheiten vor.
Von Rainer Sigl

Computerspiele: Geniale Geheimtipps von Atomkraft bis Alltag
Artikel
  1. Android-Smartphone: Nokia G50 mit langer Akkulaufzeit und 5G-Technik
    Android-Smartphone
    Nokia G50 mit langer Akkulaufzeit und 5G-Technik

    Das neu vorgestellte Smartphone Nokia G50 erhält mindestens drei Jahre lang Android-Updates.

  2. Lightning ade: EU will USB-C als alleinige Handy-Ladebuchse vorschreiben
    Lightning ade
    EU will USB-C als alleinige Handy-Ladebuchse vorschreiben

    Die EU-Kommission will eine einheitliche Ladebuchse einführen. USB-C soll zum Aufladen aller möglichen Kleingeräte verwendet werden.

  3. Malware: Mehrere Kliniken nach Hackerangriff vom Netz genommen
    Malware
    Mehrere Kliniken nach Hackerangriff vom Netz genommen

    Neben den Kliniken seien auch Bildungseinrichtungen von dem Malware-Angriff betroffen. Sicherheitshalber wird nun mit Papier und Stift gearbeitet.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Switch OLED 359,99€ + Metroid Dread 411,98€ • Alternate-Deals (u. a. Acer Nitro 27" FHD 159,90€) • Neuer Kindle Paperwhite Signature Edition vorbestellbar 189,99€ • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) • GT7 25th Anniversary 99,99€ [Werbung]
    •  /