Instinct MI300: AMD will mit HBM3e besser als Nvidia sein
Micron hat kürzlich den Beginn der Auslieferung von HBM3e für Nvidia GH200 bestätigt. AMD setzt derweil bei den Instinct MI300A und MI300X-Beschleunigern auf HBM3 mit einer Kapazität von bis zu 128 GByte respektive 192 GByte bei MI300X. Doch laut AMD-CTO Mark Papermaster soll es dabei nicht bleiben, die Chips sollen zeitnah auf die nächste Generation umgerüstet werden.
"Wir stehen nicht auf der Stelle. Wir ändern ein paar Dinge, um unsere Roadmap zu beschleunigen, sowohl in Bezug auf die Speicherkonfiguration der MI300-Familie, Produkten, die auf MI300 basieren, als auch die nächste Generation. Wir haben HBM3e bereits bei der Architektur berücksichtigt" sagte Papermaster gegenüber Seeking Alpha. ( Paywall(öffnet im neuen Fenster) )
Bislang nutzt AMD noch keine Beschleuniger mit HBM3e, sondern setzt auf Stapel mit acht Schichten normalem HBM3 für MI300A und 12 Schichten für MI300X. Die Aussage des CTO lässt aber darauf schließen, dass HBM3e einer der nächsten logischen Schritte sein wird, denn KI-Modelle benötigen sowohl möglichst viel Speicher als auch eine hohe Speicherdurchsatzrate.
24 GByte wird zum Standard
HBM3e bringt Vorteile für beides. Die Speicherkapazität pro Stapel beträgt bei Micron HBM3e 24 bis 36 GByte, bei HBM3 waren es 16 bis 24. Außerdem steigt die Übertragungsgeschwindigkeit pro Pin von 6,4 Gbit/s auf 9,2 GBit/s, was bei einem 1024-Bit-Speicherinterface für eine Beschleunigung von 819 GByte/s auf 1,2 TByte/s bedeutet.
AMD gibt sich weiter kämpferisch. In den Benchmarks sieht sich AMD insbesondere gegenüber H100 mit 80 GByte klar in Führung, auch GH200 soll sich MI300X behaupten können. " Wir arbeiten eng mit unseren Kunden zusammen und ich kann Ihnen sagen: Das Rennen hat gerade erst begonnen. Und es wird ein Rennen mit starkem Wettbewerb von unserer Seite werden. ", so Papermaster.