Hopper mit NVLink: Nvidia bringt Dual-GPUs zurück

GTC 2023 Wer aber auf das Comeback von SLI gehofft hat, wird enttäuscht. Stattdessen gibt es wieder High-End Rechenbeschleuniger mit NVLink und PCI-Express.

Artikel veröffentlicht am 22. März 2023, 10:56 Uhr, Martin Böckmann

H100 PCIe und H100 NVL passen in herkömmliche Server mit PCIe-x16-Slot. (Bild: Nvidia)

Nvidia hat auf der hauseigenen KI-Konferenz GTC 2023 (GPU Technology Conference) die H100 NVL vorgestellt. Dabei handelt es sich um PCIe-Grafikkarten, welche einen Grafikchip mit Hopper-Architektur und 94 GByte HBM3-Speicher haben und sich per NVLink mit einer weiteren Karte verbinden lassen. Im Verbund stehen damit 188 GByte HBM3 bei 3,9 TByte/s Speicherdurchsatz zur Verfügung. Die Karte ähnelt teilweise der Nvidia H100 PCIe, hat allerdings mehr Rechenkerne und mehr Speicher.

Die H100 PCIe kommt mit fünf aktiven HBM3-Chips auf eine Durchsatzrate von 2 TByte/s und 80 GByte Grafikspeicher, die H100 SXM schafft mit 3,35 TByte/s deutlich mehr. Im Vergleich dazu hat die H100 NVL sechs aktive HBM-Module, was sowohl den Durchsatz als auch den maximal verfügbaren Speicher erhöht. Tatsächlich verbaut werden 96 GByte, zwei davon werden aber mutmaßlich für die vorhandene ECC-Fehlerkorrektur reserviert.

Die Leistungsaufnahme ist pro Karte 50 Watt höher als die der H100 PCIe, je nach Konfiguration sind es 350 bis 400 Watt. Als Dual-Slots Lösung lassen sich in einem Server maximal vier der Gespanne gleichzeitig verbauen. Als Kühllösung wird ein schlichter Dual-Slot-Kühler mit großer Vaporchamber und ohne Lüfter verbaut, wie es für Server-GPUs dieser Bauart üblich ist.

KI-Modelle brauchen sehr viel Grafikspeicher

Die große Speichermenge über NVLink ist für große KI-Modelle wichtig, da sie vollständig in den Grafikspeicher passen müssen. Vergleichbar ist dies anhand der Anzahl der möglichen Parameter pro Modell. Während eine Geforce RTX 4090 mit 24 GByte GDDR6X bis zu 30 Milliarden Parameter pro Modell schafft, können zwei H100 NVL sogar ein GPT-3 Modell mit 165 Milliarden Parametern unterbringen.

Zu Preisen und Verfügbarkeit äußert sich Nvidia nicht konkret. Einzelne H100 PCIe waren in der Vergangenheit laut Tomshardware ab etwa 28.000 US-Dollar bei Händlern gelistet. Ein einzelnes H100-NVL-Gespann könnte also sehr teuer werden, mehr als 60.000 USD dürften es in jedem Fall sein.