Arbeitsspeicher: Meta spart bis zu 30 Prozent Speicher durch NVMe-Offloads

Der Speicherbedarf wird immer größer und die DRAM-Kosten steigen immer mehr. Facebook-Mutter Meta lagert den Speicher deshalb aus.

Artikel veröffentlicht am ,
Ein Rechenzentrum von Meta
Ein Rechenzentrum von Meta (Bild: Meta)

Durch das sogenannte Transparent Memory Offloading (TMO) gelingt es dem Facebook-Mutterkonzern Meta, zwischen 20 und 30 Prozent an Arbeitsspeicherbedarf pro Server einzusparen. Das berichtet das Engineering-Team des Unternehmen in seinem Blog. Laut Selbstdarstellung ist dies auf Millionen von Servern möglich. Die damit in Verbindung stehenden Kostenreduktionen könnten also in die Milliarden gehen.

Stellenmarkt
  1. Prozess-Ingenieur Automatisierung (m/w/d)
    Sutco RecyclingTechnik GmbH, Bergisch Gladbach
  2. Entwicklungsingenieur (m/w/d) Sensoren & Laser Senior für industrielle Bildverarbeitung
    Hauni Maschinenbau GmbH, Hamburg
Detailsuche

Zum Hintergrund der Arbeiten heißt es: "Wir beobachten ein massives Wachstum des Speicherbedarfs neuer Anwendungen wie maschinellem Lernen, verbunden mit einer Verlangsamung der Skalierung von DRAM-Geräten und großen Schwankungen der DRAM-Kosten. Dies hat DRAM als einzige Speicherkapazitätslösung in Metas Größenordnung unerschwinglich teuer gemacht."

Im Vergleich dazu sind SSDs mit NVMe-Technik deutlich günstiger bei größerer Speicherkapazität, aber auch deutlich langsamer als DRAM-Chips. Weiter schreibt das Team: "Die transparente Auslagerung von kälterem Speicher auf solche billigeren Speichertechnologien über Kernel- oder Hypervisor-Techniken ist ein vielversprechender Ansatz, um den Appetit auf DRAM einzudämmen."

Kernel übernimmt das Auslagern

Die Lösung, um dies zu erreichen, nennt Meta TMO. Damit das auch über mehrere Rechenzentren und verschiedenen Anwendungen skaliert, hat Meta einen neuen Mechanismus im Linux-Kernel umgesetzt, der diese Arbeiten letztlich übernimmt. Dazu werden die benötigten Ressourcen "in Echtzeit" überwacht. Davon ausgehend wird bedarfsgerecht der eigentliche Offload umgesetzt. Zunächst in einen komprimierten Speicherbereich und später auf die SSD.

Golem Karrierewelt
  1. Adobe Premiere Pro Aufbaukurs: virtueller Zwei-Tage-Workshop
    14./15.07.2022, Virtuell
  2. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    05.-09.09.2022, virtuell
Weitere IT-Trainings

Das System läuft bei Meta seit einem Jahr produktiv in den Systemen. Die dafür notwendigen Bestandteile seien alle in den Hauptzweig des Linux-Kernels eingepflegt worden. Der Prozess sei bisher aber nicht vollständig automatisiert, sondern teils manuell basierend auf der jeweiligen Anwendung.

Für eine vollständige Automatisierung müsste der Linux-Kernel um eine Hierarchie verschiedener Speicher-Backends erweitert werden. Mit dem Compute Express Link (CXL) könnte dies künftig laut Aussage von Meta möglich werden. Denn damit werde die Semantik für den Zugriff auf NVMe sehr ähnlich zu dem bisherigen Speicherzugriff.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
SFConservancy
Open-Source-Entwickler sollen Github wegen Copilot verlassen

Ähnlich wie schon vor Jahrzehnten mit Sourceforge sollen Open-Source-Projekte nun auch Github verlassen.

SFConservancy: Open-Source-Entwickler sollen Github wegen Copilot verlassen
Artikel
  1. Wärmeversorgung: Berlin baut Thermoskanne gegen Gasnotstand
    Wärmeversorgung
    Berlin baut Thermoskanne gegen Gasnotstand

    Der Versorger Vattenfall baut in Berlin einen riesigen Warmwasserspeicher, um Häuser im Winter heizen zu können. Das könnte beim möglichen Gasnotstand helfen.

  2. Wilhelm.tel: Das kann die Telekom gar nicht so schnell nachmachen
    Wilhelm.tel
    Das kann die Telekom gar nicht so schnell nachmachen

    Der streitbare Wilhelm.tel-Chef Theo Weirich hat seine Infrastruktur für die Telekom geöffnet. Damit werde das eigene FTTH-Netz aber nicht entwertet.

  3. Chrome OS Flex: Das Apple Chromebook
    Chrome OS Flex
    Das Apple Chromebook

    Ein zehn Jahre altes Notebook lässt sich mit Chrome OS Flex wieder flott machen. Wir haben Googles Betriebssystem ausprobiert und waren begeistert.
    Ein Erfahrungsbericht von Martin Wolf

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MSI RTX 3080 12GB günstig wie nie: 949€ • AMD Ryzen 7 günstig wie nie: 259€ • Der beste 2.000€-Gaming-PC • Cooler Master 34" UWQHD 144 Hz günstig wie nie: 467,85€ • Asus RX 6900 XT OC günstig wie nie: 1.049€ • Mindstar (Gigabyte RTX 3060 399€) • Galaxy Watch3 45 mm 119€ [Werbung]
    •  /