• IT-Karriere:
  • Services:

DHCPLB: Facebooks Loadbalancer verringern Hardware auf ein Zehntel

Zum Provisionieren seiner Server nutzt Facebook DHCP. Dank eines eigenen Loadbalancers und Servers konnte das Unternehmen die benötigte Hardware bei gleichem Traffic-Aufkommen massiv reduzieren. Die Software dazu ist Open Source.

Artikel veröffentlicht am ,
Die Server von Facebook werden per DHCP provisioniert.
Die Server von Facebook werden per DHCP provisioniert. (Bild: Facebook)

Facebook stellt in seinem Entwicklerblog seine aktuelle Infrastruktur für DHCP und das dafür genutzte Loadbalancing vor. Dank verschiedener Neuerungen sehe Facebook damit einen "besseren Durchsatz". Weiter heißt es: "Tatsächlich verarbeiten wir jetzt das gleiche Verkehrsvolumen mit zehnmal weniger Servern". Der grundlegenden Code dazu ist nun als Open Source verfügbar.

Stellenmarkt
  1. Lions Clubs International MD 111-Deutschland, Wiesbaden
  2. VRS Media GmbH & Co. KG, Bremen

In seinen Rechenzentren nutzt Facebook nach eigenen Angaben DHCP als Verwaltungsprotokoll, um die Bare-Metal-Server zu provisionieren, also etwa um darauf Betriebssysteme zu installieren. In den vergangenen Jahren hat das dafür zuständige Team viel Arbeit investiert, um die dazu nötige Infrastruktur möglichst skalierbar zu gestalten. Dies ist klar iterativ geschehen und gipfelt vorerst in den nun vorgestellten DHCPLB-Servern.

Begonnen hat das Team mit dem DHCP-Server des ISC, der Referenzimplementierung für das Protokoll. Dieser wurde jedoch schnell durch den KEA-DCHP-Server der ISC ersetzt. Dem Blogeintrag zufolge wurde der Netzwerkverkehr jedoch nicht gleichmäßig auf die KEA-Instanzen verteilt. Das Team erstellte deshalb einen Relay-Server, der DHCP-Requests gleichmäßig auf die Kea-Server verteilt - also einen Load Balancer für DHCP (DHCPLB).

Multi-Thread DHCP-Server und Load-Balancer

Doch auch das reichte für das Unternehmen nicht aus, da Kea eine Single-Thread-Anwendung ist, was den Netzwerkverkehr unter Umständen massiv blockieren kann. Im Zuge eines Hackathons erstellte das Team deshalb eine neue DHCP-Bibliothek, die in Go geschrieben ist und einen Multi-Thread-Ansatz implementiert.

Die Entwickler des Unternehmens haben schließlich die neue Bibliothek mit ihrem bereits vorhandenen Loadbalancer für DHCP kombiniert und so zu einem vollwertigen DHCP-Server ausgebaut, der deutlich mehr Netzwerkverkehr verarbeiten kann, als das vorher genutzte KEA. Selbst mit einer stark steigenden Anzahl von Anfragen pro Sekunde bleibt die Latenz des neuen Aufbaus außerdem nahezu konstant, während diese bei KEA immer weiter gewachsen ist.

Der Code für diesen Aufbau hat Facebook als Framework auf Github veröffentlicht.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. 0,99€
  2. (-20%) 39,99€
  3. 4,99€
  4. 4,26€

hhofstaetter 31. Mai 2019

"In seinen Rechenzentren nutzt Facebook nach eigenen Angaben DHCP als...

Jdbdbskslfjwbal 29. Mai 2019

Lt Blogeintrag benutzen die bisher BGP quasi als LB. BGP kümmert es aber nicht, wie die...


Folgen Sie uns
       


Apples Airpods 2 und Samsungs Galaxy Buds im Test

Wir haben die neuen Airpods von Apple mit den Galaxy Buds von Samsung verglichen. Beim Klang schneiden die Airpods 2 wieder sehr gut ab. Es bleibt der Nachteil, dass Android-Nutzer die Airpods nur eingeschränkt nutzen können. Umgekehrt können iPhone-Nutzer die Galaxy Buds nur mit Beschränkungen verwenden. Die Galaxy Buds haben eine ungewöhnlich lange Akkulaufzeit.

Apples Airpods 2 und Samsungs Galaxy Buds im Test Video aufrufen
Kognitive Produktionssteuerung: Auf der Suche nach dem Universalroboter
Kognitive Produktionssteuerung
Auf der Suche nach dem Universalroboter

Roboter erledigen am Band jetzt schon viele Arbeiten. Allerdings müssen sie oft noch von Menschen kontrolliert und ihre Fehler ausgebessert werden. Wissenschaftler arbeiten daran, dass das in Zukunft nicht mehr so ist. Ziel ist ein selbstständig lernender Roboter für die Automobilindustrie.
Ein Bericht von Friedrich List

  1. Ocean Discovery X Prize Autonome Fraunhofer-Roboter erforschen die Tiefsee

Apple TV+ im Test: Apple-Kunden müssen auf jeden Streaming-Komfort verzichten
Apple TV+ im Test
Apple-Kunden müssen auf jeden Streaming-Komfort verzichten

Apple ist mit Apple TV+ gestartet. Wir haben das Streamingabo ausprobiert und waren entsetzt, wie rückständig alles umgesetzt ist. Der Kunde von Apple TV+ muss auf sehr viele Komfortfunktionen verzichten, die bei der Konkurrenz seit langem üblich sind.
Ein Test von Ingo Pakalski

  1. Apple TV+ Disney-Chef tritt aus Apple-Verwaltungsrat zurück
  2. Apple TV+ Apples Videostreamingdienst ist nicht konkurrenzfähig
  3. Apple TV+ Apples Streamingangebot kostet 4,99 Euro im Monat

Nitrokey und Somu im Test: Zwei Fido-Sticks für alle Fälle
Nitrokey und Somu im Test
Zwei Fido-Sticks für alle Fälle

Sie sind winzig und groß, sorgen für mehr Sicherheit bei der Anmeldung per Webauthn und können gepatcht werden: Die in Kürze erscheinenden Fido-Sticks von Nitrokey und Solokeys machen so manches besser als die Konkurrenz von Google und Yubico. Golem.de konnte bereits vorab zwei Prototypen testen.
Ein Test von Moritz Tremmel

  1. iOS 13 iPhone bekommt Webauthn per NFC
  2. Webauthn unter Android ausprobiert Dropbox kann, was andere nicht können

    •  /