Soll viele GPUs ersetzen: Start-up plant KI-Server mit 128 TByte Speicher
Die modernsten kommerziellen KI-Modelle brauchen mehrere aktuelle GPUs oder andere Beschleuniger. Der Hauptgrund dafür ist der Speicherbedarf: Ein Modell mit über einer Billion Parametern braucht, je nach Quantisierung, teils mehrere TByte RAM. Die sind aber mit klassischen Ansätzen nicht anzubinden. Auch Nvidias Vera-CPU kommt mit LPCAMM2 nur auf maximal 1,5 TByte.
Das Start-up Majestic Labs(öffnet im neuen Fenster) hingegen plant einen Prometheus genannten KI-Server, der mit 128 TByte LPDDR6-Speicher bestückt sein soll(öffnet im neuen Fenster). Gegründet wurde das Unternehmen von ehemaligen leitenden Chipentwicklern von Google und Meta.
Bereits 2027 soll Prometheus fertig sein. In ein Rack sollen vier Server mit einer Leistungsaufnahme von 120 kW passen, die auf die Speichermenge von 25 Vera-Rubin-NVL72-Racks kommen, wie das Start-up vorrechnet.
Im Vergleich zu den Nvidia-Systemen soll Prometheus damit 90 bis 98 Prozent günstiger sein und bei gleicher Speichermenge weniger Energie benötigen. Bislang gibt es von dem geplanten System nur gerenderte Bilder, Majestic Labs sammelte aber bereits 100 Millionen US-Dollar Kapital ein(öffnet im neuen Fenster).
Kapazität allein ist aber nicht alles – für hohen Durchsatz bei KI-Modellen ist zudem eine hohe Bandbreite erforderlich. Daher setzen Beschleuniger meist entweder auf High Bandwidth Memory (HBM) oder gleich im Chip integrierten SRAM. Majestic Labs will mit LPDDR6 auf eine Bandbreite von 25,6 TByte/s kommen – Nvidias Rubin-GPU erreicht mit HBM4 die Hälfte.
Expander machen viel Speicher möglich
Bei der Anbindung des Speichers will das Start-up einen neuen Weg gehen, denn klassische Designs setzen insbesondere bei der Kapazität Grenzen. Limitierender Faktor ist die sogenannte Shore Line, die Länge der Außenkanten des Chips.
Speicher werden mit hohen Taktraten angebunden, weshalb die entsprechenden Signale ohne Umwege verlegt werden müssen. Das ist praktisch nur am Rand des Chips möglich.
Plakativ zeigt das Intels Xe3P-GPU Crescent Islands: Drei von vier Seiten des Chips belegen die Speichercontroller. Auch können die Speicherchips nur im nahen Umfeld des Chips platziert werden. HBM geht das Problem durch das Stapeln mehrerer Dies an, was allerdings teuer ist und geringere Kapazitäten erreicht, als etwa mit LPCAMM möglich ist.
Majestic Labs will hingegen Expander-Chips nutzen, die bis zu einem Meter vom Prozessor entfernt sitzen können. Die Anbindung soll durch Kupferkabel erfolgen. Das klingt wie CXL (Compute Express Link), aber wohl ohne den Overhead von PCIe.
Bei den ebenfalls selbst entworfenen KI-Prozessoren namens Ignite plant Majestic Labs eine kuriose Mischung: Sie sollen sowohl ARM- als auch RISC-V-Kerne enthalten. Die ARM-Kerne sollen Betriebssystem und Laufzeitumgebung ausführen. Die RISC-V-Kerne hingegen sind mit Tensor-Recheneinheiten ausgestattet und führen wie bei Tenstorrent (g+) die KI-Berechnungen aus.
Der Golem-Blick
Grundsätzlich ist das Konzept von Majestic Labs interessant und nicht unrealistisch. Das größte Problem des Start-ups dürfte die aktuelle Speicherknappheit sein. Nvidia hat Berichten zufolge jüngst zwar die Standardspeicherkapazität der Vera-CPU halbiert, gleichzeitig aber die Bestellungen kleinerer SOCAMMs vervielfacht.
Ob ein Neueinsteiger unter diesen Bedingungen immense Speichermengen beschaffen kann, ist fraglich. Majestic Labs rechnet zudem seinen Vorteil schön: Beim Vergleich zu NVL72 wird nur der HBM der GPUs berücksichtigt. Die CPUs sind aber noch einmal mit 675 TByte bestückt, die etwa als Zwischenspeicher für KV-Caches dienen können. Die Kostenvorteile könnten zu hoch angesetzt sein.
Hinzu kommt die übliche Herausforderung eines neuen Beschleunigers: ein gutes Software-Ökosystem. Majestic Labs will mit Pytorch, vLLM und Triton einige der wichtigsten Frameworks unterstützen, ein guter Compiler für die eigene Architektur ist aber auch wichtig.
Der Zeitplan erscheint zudem sehr ambitioniert. In Kombination mit dem etwas schiefen Vergleich mit Nvidia erinnert Majestic Labs ein wenig an Tachyum, das ebenfalls von einem renommierten Entwickler gegründet wurde.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.