Nvidia H100: Lieber mieten als kaufen
Vor einem Jahr noch war Nvidias damalige Spitzen-GPU H100 heiß begehrte Mangelware - insbesondere aufgrund hoher Nachfrage für KI-Anwendungen. Kurzfristig war sie nur über Cloudanbieter zu bekommen, zu teils enormen Preisen. Seitdem hat sich die Lage deutlich entspannt, wie Gründer und Entwickler Eugene Cheah im KI-Newsletter Latent Space schreibt(öffnet im neuen Fenster) .
So könnten H100 teils über Plattformen wie Vast.ai(öffnet im neuen Fenster) , Runpod(öffnet im neuen Fenster) , Togehter.ai(öffnet im neuen Fenster) oder Datacrunch.io(öffnet im neuen Fenster) für weniger als 2 US-Dollar pro GPU und Stunde gemietet werden. Dabei handelt es sich um Reseller, die ungenutzte Rechenkapazitäten vermarkten. Diese können sich in verschiedenen Rechenzentren weltweit befinden.
Datacrunch etwa ruft zum Zeitpunkt des Schreibens dieses Artikels 1,67 US-Dollar für die H100 SXM auf. Allerdings hat die Sache einen Haken: Es handelt sich dabei um dynamische Preise. Diese können in Abhängigkeit von der Nachfrage teils erheblich schwanken. Langfristige Reservierungen sind teurer - vor einem Jahr sei das noch andersherum gewesen, erklärte Cheah.
Nachfrage ist gesunken
Laut Cheah nutzen die Dienste der Reseller teils auch Start-ups, die langfristige Verträge mit Cloudanbietern abgeschlossen haben, um Zugang zu H100 zu bekommen. Auch Betreiber kleinerer H100-Cluster würden diese teils vermieten, da sie deren volle Leistung nur für einen begrenzten Zeitraum benötigt hätten. Durch die Vermietung können die Ausgaben für brachliegende H100-Kapazitäten zumindest teilweise wieder eingespielt werden.
Rechenintensiv ist nämlich das Training eines Modells von Null. An solchen Foundation Models arbeiteten aber immer weniger Unternehmen und Start-ups, sagte Cheah. Frei verfügbare, trainierte Modelle wie Llama 3.2 , Microsofts Phi oder Googles Gemma 2 seien mittlerweile so gut, dass es schon einer bahnbrechenden Idee bedürfe, um diese mit einem eigenen Modell zu schlagen.
Daher habe sich der Fokus auf das Feintuning dieser freien Modelle verlagert - was deutlich weniger Rechenressourcen benötigt. Großkunden wie OpenAI, Meta oder Microsoft nahmen zudem selbst riesige Cluster in Betrieb und steigen auf die Nachfolger H200 und B200 um, während Intel und AMD preislich attraktivere Alternativen anbieten. Für Inferencing genügen zudem deutlich günstigere GPUs.
Insgesamt stehen damit aktuell mehr H100 einer geringeren Nachfrage gegenüber. Hinzu kommt, dass ein Großteil der angebotenen H100 sich bereits amortisiert hat, ihre Eigentümer sie also günstig vermieten können. Daher rechnet Cheah auch mit weiter sinkenden Preisen, zumal aufgrund der langen Lieferzeiten H100 erst mit Verzögerung in Betrieb gingen. Von einem Kauf neuer H100 rät er ab, insbesondere Cloudanbietern, da diese durch den hohen Preisdruck nur noch mit Verlust zu betreiben seien. Für Anwender kann eine eigene Anschaffung noch sinnvoll sein, wenn große Cluster mit hunderten H100 benötigt werden. Diese sind als Cloudinstanz selten und entsprechend nur mit Preisaufschlag zu bekommen.
Allerdings rechnet Cheah vor, dass etwa selbst bei einem Preis von 2,85 US-Dollar pro H100 und Stunde diese über zwei Jahre voll ausgelastet sein müsste, um mit Kauf günstiger zu fahren als mit einer gemieteten GPU. Für die meisten Interessenten dürfte die Cloud damit die sinnvollste Wahl sein.