DHCPLB: Facebooks Loadbalancer verringern Hardware auf ein Zehntel

Zum Provisionieren seiner Server nutzt Facebook DHCP. Dank eines eigenen Loadbalancers und Servers konnte das Unternehmen die benötigte Hardware bei gleichem Traffic-Aufkommen massiv reduzieren. Die Software dazu ist Open Source.

Artikel veröffentlicht am ,
Die Server von Facebook werden per DHCP provisioniert.
Die Server von Facebook werden per DHCP provisioniert. (Bild: Facebook)

Facebook stellt in seinem Entwicklerblog seine aktuelle Infrastruktur für DHCP und das dafür genutzte Loadbalancing vor. Dank verschiedener Neuerungen sehe Facebook damit einen "besseren Durchsatz". Weiter heißt es: "Tatsächlich verarbeiten wir jetzt das gleiche Verkehrsvolumen mit zehnmal weniger Servern". Der grundlegenden Code dazu ist nun als Open Source verfügbar.

Stellenmarkt
  1. Embedded Linux Software Engineer (m/w/d)
    QEST Quantenelektronische Systeme GmbH, Holzgerlingen
  2. Fachinformatiker Systemintegration als IT-Supporter (m/w/d) im User-Helpdesk
    Goldhofer Aktiengesellschaft, Memmingen
Detailsuche

In seinen Rechenzentren nutzt Facebook nach eigenen Angaben DHCP als Verwaltungsprotokoll, um die Bare-Metal-Server zu provisionieren, also etwa um darauf Betriebssysteme zu installieren. In den vergangenen Jahren hat das dafür zuständige Team viel Arbeit investiert, um die dazu nötige Infrastruktur möglichst skalierbar zu gestalten. Dies ist klar iterativ geschehen und gipfelt vorerst in den nun vorgestellten DHCPLB-Servern.

Begonnen hat das Team mit dem DHCP-Server des ISC, der Referenzimplementierung für das Protokoll. Dieser wurde jedoch schnell durch den KEA-DCHP-Server der ISC ersetzt. Dem Blogeintrag zufolge wurde der Netzwerkverkehr jedoch nicht gleichmäßig auf die KEA-Instanzen verteilt. Das Team erstellte deshalb einen Relay-Server, der DHCP-Requests gleichmäßig auf die Kea-Server verteilt - also einen Load Balancer für DHCP (DHCPLB).

Multi-Thread DHCP-Server und Load-Balancer

Doch auch das reichte für das Unternehmen nicht aus, da Kea eine Single-Thread-Anwendung ist, was den Netzwerkverkehr unter Umständen massiv blockieren kann. Im Zuge eines Hackathons erstellte das Team deshalb eine neue DHCP-Bibliothek, die in Go geschrieben ist und einen Multi-Thread-Ansatz implementiert.

Golem Karrierewelt
  1. Adobe Photoshop für Social Media Anwendungen: virtueller Zwei-Tage-Workshop
    26./27.10.2022, virtuell
  2. Einführung in Unity: virtueller Ein-Tages-Workshop
    13.10.2022, Virtuell
Weitere IT-Trainings

Die Entwickler des Unternehmens haben schließlich die neue Bibliothek mit ihrem bereits vorhandenen Loadbalancer für DHCP kombiniert und so zu einem vollwertigen DHCP-Server ausgebaut, der deutlich mehr Netzwerkverkehr verarbeiten kann, als das vorher genutzte KEA. Selbst mit einer stark steigenden Anzahl von Anfragen pro Sekunde bleibt die Latenz des neuen Aufbaus außerdem nahezu konstant, während diese bei KEA immer weiter gewachsen ist.

Der Code für diesen Aufbau hat Facebook als Framework auf Github veröffentlicht.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Die große Umfrage
Das sind Deutschlands beste IT-Arbeitgeber 2023

Golem.de und Statista haben 23.000 Fachkräfte nach ihrer Arbeit gefragt. Das Ergebnis ist eine Liste der 175 besten Unternehmen für IT-Profis.

Die große Umfrage: Das sind Deutschlands beste IT-Arbeitgeber 2023
Artikel
  1. Roadmap: CD Projekt kündigt neues Cyberpunk und mehrere Witcher an
    Roadmap
    CD Projekt kündigt neues Cyberpunk und mehrere Witcher an

    Project Polaris wird eine Witcher-Saga, Orion das nächste Cyberpunk 2077 und Hadar etwas ganz Neues: CD Projekt hat seine Pläne vorgestellt.

  2. Monitoring von Container-Landschaften: Prometheus ist nicht alles
    Monitoring von Container-Landschaften
    Prometheus ist nicht alles

    Betreuer von Kubernetes und Co., die sich nicht ausreichend mit der Thematik beschäftigen, nehmen beim metrikbasierte Monitoring unwissentlich einige Nachteile in Kauf. Eventuell ist es notwendig, den üblichen Tool-Stack zu ergänzen.
    Von Valentin Höbel

  3. USB-C: Europaparlament macht Weg für einheitliche Ladekabel frei
    USB-C
    Europaparlament macht Weg für einheitliche Ladekabel frei

    In der EU gibt es künftig eine Standard-Ladebuchse für Smartphones und weitere Elektrogeräte. Die IT-Wirtschaft sieht die Einigung kritisch.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • 3 Spiele für 49€ • Saturn Gutscheinheft • Günstig wie nie: LG OLED 48" 799€, Xbox Elite Controller 2 114,99€, AOC 28" 4K UHD 144 Hz 600,89€, Corsair RGB Midi-Tower 269,90€, Sandisk microSDXC 512GB 39€ • Bis zu 15% im eBay Restore • MindStar (PowerColor RX 6700 XT 489€) [Werbung]
    •  /