Rechnender Speicher und Stacking: Nvidia und SK Hynix wollen GPUs neu denken
Die nächste Generation von Grafikkarten für wissenschaftliche Berechnungen und KI könnte größere architektonische Änderungen bringen: Laut einem Bericht der südkoreanischen Zeitung Joong Ang(öffnet im neuen Fenster) arbeiten SK Hynix und Nvidia zusammen an neuartigen Speicherbausteinen. Die nächste Generation von HBM-Speicher soll mehr können als Daten speichern: Der Zeitung zufolge sollen HBM4-Bausteine auch Rechenoperationen ausführen können. Das dürften einfache Vektoroperationen sein, während die GPU komplexere Matrixoperationen berechnet.
Einen Hinweis darauf gebe, so der Bericht, dass SK Hynix in letzter Zeit vermehrt Entwickler für Logikhalbleiter eingestellt habe. Für einen Speicherhersteller ist das ungewöhnlich. Zwar verfügt HBM-Speicher bereits über ein Logik-Die, auf das mehrere Speicher-Dies gestapelt sind. Das ist allerdings bislang verhältnismäßig einfach gehalten, es übernimmt die Anbindung der einzelnen Speichermodule an das 1.024 Bit breite Interface.
Daneben gibt es laut Kim Jeong-ho, Professor am Korea Advanced Institute of Science and Technology (KAIST), den Plan, Speicher und GPU noch näher zusammenzubringen. Dazu soll der HBM-Speicher nicht mehr auf einem Interposer neben dem GPU-Die montiert werden, sondern direkt darauf – ähnlich wie bei AMDs 3D V-Cache. Dafür sind allerdings erst einmal neue Materialien erforderlich, um die Wärme vom GPU-Die abführen zu können. Daran arbeitet etwa Samsung für HBM4.
Rechnender Speicher ist effizienter
Rechenoperationen zum Speicher auszulagern, kann durchaus sinnvoll sein: Besonders Vektoroperationen, die etwa bei künstlicher Intelligenz häufig vorkommen, führen mit den einzelnen Bytes nur wenige Operationen aus. Dafür muss allerdings viel Aufwand betrieben werden: Die GPU muss die Daten aus dem Speicher abrufen, sie dann verarbeiten und zurückschreiben.
Die Speicherzugriffe führen nicht nur zu Latenzen, sie sind auch energetisch ineffizient. Denn die Datenübertragung zwischen zwei Bausteinen benötigt deutlich mehr Energie als etwa der Datenaustausch zwischen Logik- und Speicher-Die in einem HBM-Stack. Noch effizienter wäre es, die Berechnungen gleich im Speicher-Die auszuführen. Solche Speichermodule präsentierten SK Hynix und Samsung im August 2023 auf der Hot Chips. Unterschiedliche Fertigungsprozesse für Logik- und Speicherzellen machen dieses sogenannte Processing oder Compute in Memory (PIM oder CIM) allerdings teuer. Außerdem sinkt die Speicherdichte der DRAM-Dies.
Der Bericht von Joong Ang ist uneindeutig, was das konkrete Vorhaben von Nvidia und SK Hynix angeht. Während an einer Stelle erwähnt wird, dass Speicher und Logik auf einem Die integriert werden sollen, heißt es an anderer Stelle, die Fertigung solle durch TSMC erfolgen – das allerdings keine DRAM-Fertigungsprozesse anbietet. Daher ist für uns naheliegender, dass die Rechenfunktionen im Logik-Die des HBM-Stacks integriert werden. Dazu passt das Zitat eines Mitarbeiters von SK-Hynix, demzufolge es freien Platz auf dem HBM-Die gebe, den man für Logik verwenden wolle. Freier Platz auf dem Speicher-Die dürfte hingegen für mehr Speicherzellen genutzt werden.
Zudem könnte SK Hynix so individuell angepasste HBM-Module anbieten, die mit günstig in Massen hergestellten Speicher-Dies bestückt sind. Produziert werden sollen die Module dem Bericht zufolge ab 2026, bis dahin will Nvidia bereits zwei neue Grafikkartengenerationen auf den Markt gebracht haben.
- Anzeige Hier geht es zu NVIDIA-Grafikkarten bei Alternate Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.