Nvidia kann schnell sehr große Computer bauen

Bei KI wird zusätzlich noch zwischen Training und Inferenz unterschieden: Beim Training lernt ein KI-Modell anhand von Beispieldaten, was es einmal können soll – Text oder Bilder generieren, Bildinhalte erkennen, mathematische Gleichungen lösen, mögliche Substanzen für Medikamente finden oder Roboter steuern. Hier werden oft größere Datentypen mit 16 oder 32 Bit verwendet, um Veränderungen im Modell zwischen Trainingsschritten exakter erfassen zu können.

Bei der Inferenz wird das Modell angewendet. Es bekommt neue Eingabedaten und produziert damit eine Ausgabe. Hierfür werden aus dem ursprünglichen Modell oft kleinere abgeleitet, die weniger Berechnungsaufwand erfordern. Eine Möglichkeit ist, die Gewichtsparameter auf kleinere Datentypen mit 4 oder 8 Bit abzubilden. Alternativ kann ein kleines Modell mit weniger Parametern von einem großen lernen, was als Destillation bezeichnet wird. Beide Methoden können auch kombiniert werden.

Wie bereits erwähnt, sind moderne Modelle aber so groß, dass sie insbesondere beim Training, oft aber auch bei der Inferenz nicht in den Speicher einer GPU passen. Daher werden sie auf mehrere GPUs verteilt. Und um trotz riesiger Datenmengen ein neues Modell innerhalb einiger Wochen trainieren zu können, laufen nochmals viele Trainingsschritte parallel. Unternehmen wie Google, Meta , Microsoft, OpenAI oder X.AI bauen daher Computer mit 100.000 und mehr GPUs, geplant sind noch größere Systeme.

Nvidia hat strategisch zugekauft

Und hier hat Nvidia einen weiteren Vorteil. Denn Nvidia hat gezielt sein Hardware-Angebot ausgebaut: Im Jahr 2019 übernahm das Unternehmen Mellanox , das besonders leistungsfähige Netzwerk-Hardware entwickelt.

Die ist für sogenannte Cluster-Computer unerlässlich. Hier sind teils zehntausende einzelne Prozessoren und oft auch GPUs miteinander verbunden. Berechnungen erfolgen verteilt auf vielen davon, bei den meisten Algorithmen müssen Zwischenergebnisse ausgetauscht werden. Gelingt das nicht schnell genug, kann das zum Problem werden: Zwar könnten mehr CPUs oder GPUs theoretisch schneller rechnen, praktisch ändert sich durch den steigenden Aufwand für Datenaustausch aber irgendwann kaum noch etwas.

Aus diesem Grund hat Nvidia auch Nvlink entwickelt, ein besonders leistungsfähiges Netzwerk. Zunächst konnte es innerhalb eines Computers bis zu acht GPUs verbinden, mittlerweile sind es 72 innerhalb eines sogenannten Racks, eines Montageschranks für Computer. Und das soll noch deutlich ausgebaut werden, um noch wesentlich größere KI-Modelle zu ermöglichen. Diese Systeme können innerhalb weniger Wochen zu Tausenden aufgebaut und in Betrieb genommen werden.

Technisch zählt Nvidia hier zu den führenden Unternehmen. Auch die Software gilt als die beste verfügbare – dank fast zwei Jahrzehnten Erfahrung mit großen Cluster-Computern für die Wissenschaft.

Nvidia hat viele Vorteile

Zusammengenommen ergeben die einzelnen Aspekte – das etablierte Cuda-Ökosystem, leistungsfähige Hardware, die Nvidia regelmäßig auf den neuesten Stand bringt, sowie die Möglichkeit, schnell sehr große Computer aufzubauen und in Betrieb zu nehmen – Nvidias Alleinstellungsmerkmal. Das Unternehmen ist sowohl finanziell als auch personell so gut aufgestellt, dass es die Konkurrenz mit neuen Produkten vor sich her treiben und eventuelle Rückstände schnell aufholen kann.

Nvidia bietet ein sehr gut funktionierendes Gesamtkonzept an. Ein Unternehmen, das im KI-Wettrennen mithalten will, kommt daran kaum vorbei. Dabei ist Nvidias Hardware, auch aufgrund immenser Margen , ziemlich teuer. Große Konzerne wie Google oder Amazon können sich selbst entwickelte Hardware leisten, aber diese kostet erst einmal Millionen Euro. Hardware allein nutzt zudem nichts ohne gute Software. All das kostet Geld und Zeit, und da ist Nvidia schon einen Schritt weiter.

Nvidia ist somit der sichere, wenn auch sehr kostspielige Weg. Außerdem investiert das Unternehmen gezielt in KI-Start-ups und auch in größere Unternehmen wie OpenAI. Natürlich nicht uneigennützig, sondern damit diese dann die eigene Hardware kaufen .

An diesen Punkt wäre Nvidia aber ohne die extremen Erwartungen an KI nicht gekommen. Der Aufstieg zum wertvollsten Unternehmen der Welt ist direkt gekoppelt mit dem enormen Potenzial, das Entwickler und Investoren hier sehen. Von den hunderten Milliarden US-Dollar , die in immer größere KI-Rechenzentren fließen, geht ein großer Anteil an Nvidia.

Die Unternehmensführung um CEO Jensen Huang hat viele Zeichen der Zeit richtig erkannt und konsequent aufgegriffen. Das beschert dem Unternehmen aktuell geradezu märchenhafte Umsätze. Wenn allerdings die Bereitschaft von Unternehmen und Investoren, Milliarden in KI zu investieren, nachlässt, bedeutet das für Nvidia einen Absturz. Erste Anzeichen für eine wachsende Vorsicht gibt es bereits, die Deutsche Bank warnte gar vor einer KI-Blase . Den Absturz wird Nvidia überleben – es ist nicht der erste, bereits Anfang 2022 ging die Marktkapitalisierung auf weniger als die Hälfte zurück.

Wie anfällig der Kurs ist, zeigte Ende Januar 2025 das KI-Modell Deepseek aus der Volksrepublik China: Seine Vorstellung sorgte für einen Einbruch um 600 Milliarden US-Dollar , da die Entwickler es mit weniger und günstigerer Hardware trainiert haben sollen – die aber auch von Nvidia stammte. Vorerst geht die Party für Nvidia daher wohl weiter.