Arbeitsspeicher: Meta spart bis zu 30 Prozent Speicher durch NVMe-Offloads

Der Speicherbedarf wird immer größer und die DRAM-Kosten steigen immer mehr. Facebook-Mutter Meta lagert den Speicher deshalb aus.

Artikel veröffentlicht am 21. Juni 2022, 11:00 Uhr, Sebastian Grüner

Ein Rechenzentrum von Meta (Bild: Meta)

Durch das sogenannte Transparent Memory Offloading (TMO) gelingt es dem Facebook-Mutterkonzern Meta, zwischen 20 und 30 Prozent an Arbeitsspeicherbedarf pro Server einzusparen. Das berichtet das Engineering-Team des Unternehmen in seinem Blog. Laut Selbstdarstellung ist dies auf Millionen von Servern möglich. Die damit in Verbindung stehenden Kostenreduktionen könnten also in die Milliarden gehen.

Zum Hintergrund der Arbeiten heißt es: "Wir beobachten ein massives Wachstum des Speicherbedarfs neuer Anwendungen wie maschinellem Lernen, verbunden mit einer Verlangsamung der Skalierung von DRAM-Geräten und großen Schwankungen der DRAM-Kosten. Dies hat DRAM als einzige Speicherkapazitätslösung in Metas Größenordnung unerschwinglich teuer gemacht."

Im Vergleich dazu sind SSDs mit NVMe-Technik deutlich günstiger bei größerer Speicherkapazität, aber auch deutlich langsamer als DRAM-Chips. Weiter schreibt das Team: "Die transparente Auslagerung von kälterem Speicher auf solche billigeren Speichertechnologien über Kernel- oder Hypervisor-Techniken ist ein vielversprechender Ansatz, um den Appetit auf DRAM einzudämmen."

Kernel übernimmt das Auslagern

Die Lösung, um dies zu erreichen, nennt Meta TMO. Damit das auch über mehrere Rechenzentren und verschiedenen Anwendungen skaliert, hat Meta einen neuen Mechanismus im Linux-Kernel umgesetzt, der diese Arbeiten letztlich übernimmt. Dazu werden die benötigten Ressourcen "in Echtzeit" überwacht. Davon ausgehend wird bedarfsgerecht der eigentliche Offload umgesetzt. Zunächst in einen komprimierten Speicherbereich und später auf die SSD.

Das System läuft bei Meta seit einem Jahr produktiv in den Systemen. Die dafür notwendigen Bestandteile seien alle in den Hauptzweig des Linux-Kernels eingepflegt worden. Der Prozess sei bisher aber nicht vollständig automatisiert, sondern teils manuell basierend auf der jeweiligen Anwendung.

Für eine vollständige Automatisierung müsste der Linux-Kernel um eine Hierarchie verschiedener Speicher-Backends erweitert werden. Mit dem Compute Express Link (CXL) könnte dies künftig laut Aussage von Meta möglich werden. Denn damit werde die Semantik für den Zugriff auf NVMe sehr ähnlich zu dem bisherigen Speicherzugriff.