AI Research SuperCluster (RSC): Meta baut schnellsten KI-Supercomputer der Welt

Mit enormen 5 Exaflops (TF32) soll Metas RSC-Supercomputer besonders leistungsfähig sein, gefüttert wird er mit anonymisierten Daten.

Artikel veröffentlicht am ,
Der AI Research SuperCluster (RSC) im Aufbau
Der AI Research SuperCluster (RSC) im Aufbau (Bild: Meta)

Meta hat den AI Research SuperCluster (RSC) angekündigt, einen neuen Supercomputer. Der Großrechner soll eine theoretische Rechenleistung von knapp 5 Exaflops aufweisen, wenn bis Mitte 2022 die zweite Bauphase abgeschlossen ist. Vorerst sind es 2 Exaflops, wobei sich dieser Wert auf das für künstliche Intelligenz gedachte TF32-Format bezieht und nicht auf das bei HPC-Supercomputern übliche FP64 (Double Precision).

Der RSC besteht primär aus Nvidias DGX A100, wovon 760 in der ersten Phase verbaut sind; damit rechnen 6.080 der A100-Beschleuniger. Mit der zweiten Phase kommen weitere DGX A100 hinzu, so dass der AI Research SuperCluster dann aus 2.000 davon besteht und insgesamt 16.000 der A100 nutzt. Als CPUs sind je zwei von AMDs 64-kernigen Epyc 7742 (Rome) samt 2 TByte RAM und 30 TByte Flash je DGX-Server verbaut.

Neben den GPU-Clustern kommt eine Verbindung mit Quantum InfiniBand 200 GBit/s zum Einsatz, außerdem allerhand dedizierter Speicherplatz: Der RSC nutzt 185 Petabyte als Flash-Array von Pure Storage, zudem 46 Petabyte als Cache via Altus-Nodes von Penguin Computing. Künftig soll die Kapazität gar auf ein 1 Exabyte steigen, damit das System noch mehr Daten vorhalten kann. Diese werden mit 16 TByte/s eingeladen.

5 Exaflops für Training

In der ersten Ausbaustufe liefert Metas RSC eine Rechenleistung von 1,897 Petaflops mit dem TF32-Format; voll bestückt sind es 4,992 Petaflops. TF32 steht für Tensor Float 32 und ist eine Mischung aus FP32 (einfache Genauigkeit) und FP16 (halbe Genauigkeit): Der 8-Bit-Exponent entspricht dem von FP32, die Mantisse ist mit 10 Bit identisch zu FP16. Umgelegt auf das für HPC-Supercomputer typische FP64-Format (doppelte Genauigkeit) würde der AI Research SuperCluster auf 156 Petaflops und Platz #3 weltweit kommen; das derzeit schnellste System - der japanische Fugaku - schafft 537 Petaflops.

Laut Meta wird der RSC in der ersten Phase bereits für das Training von großen Modellen für Natural Language Processing (NLP, also Computerlinguistik) und für die Forschung an Computer Vision eingesetzt. Mittelfristig soll das System dabei helfen, den Schritt zum Metaverse zu machen - ohne die Privatsphäre der Nutzer zu beeinträchtigen. Deren Daten sollen anonymisiert und bis kurz vor dem Training verschlüsselt sein; der AI Research SuperCluster ist überdies vom regulären Internet entkoppelt.

Die Entschlüsselung findet erst im Speicher statt, außerdem sollen ältere Datensätze regelmäßig gelöscht werden. So will Meta sicherstellen, dass selbst bei einem physischen Zugang zum RSC die Privatsphäre geschützt wird - obgleich ein solcher Einbruch laut Hersteller unwahrscheinlich ist.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Nachfolger von CS GO
Counter-Strike 2 ist geleakt

Eigentlich steht CS 2 bisher nur ausgewählten Personen zur Verfügung. Eine davon hat die Spieldateien aber offenbar ins Internet hochgeladen.

Nachfolger von CS GO: Counter-Strike 2 ist geleakt
Artikel
  1. SAP Event Mesh: Eventbasierte Anwendungen in der SAP-Welt
    SAP Event Mesh
    Eventbasierte Anwendungen in der SAP-Welt

    Eventbasierte Architektur in SAP-Systemen, ganz ohne Vendor Lock-in: Der Service SAP Event Mesh ist attraktiv, hat aber auch seine Grenzen.
    Ein Deep Dive von Volker Buzek

  2. Ceconomy: Media Markt und Saturn bauen erneut Arbeitsplätze ab
    Ceconomy
    Media Markt und Saturn bauen erneut Arbeitsplätze ab

    Trotz relativ positiver Prognose und einer guten Entwicklung in Deutschland setzt der Betreiber von Media Markt und Saturn wieder auf Entlassungen.

  3. KI im Programmierertest: Kann GPT-4 wirklich Code schreiben?
    KI im Programmierertest
    Kann GPT-4 wirklich Code schreiben?

    GPT-4 kann gut einfachen Code schreiben. Meine Tests mit schwierigeren Pfadfindungs- und Kollisionsalgorithmen hat es nicht bestanden. Und statt das einzugestehen, hat es lieber geraten.
    Ein Erfahrungsbericht von Tyler Glaiel

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Cyberport Jubiläums-Deals • MindStar: Gigabyte RTX 4080 OC 1.229€ • Nur noch heute: 38GB Allnet-Flat 12,99€/M. • NBB Black Weeks • Crucial SSD 1TB/2TB (PS5) bis -50% • Amazon Smart TVs ab 189€ • Nintendo Switch + Spiel + Goodie 288€ • PS5 + RE4 569€ [Werbung]
    •  /