Google Cloud: Brachiale KI-Leistung zum Mieten mit TPU v5 und H100
Seit Jahren entwirft Google eigene Beschleuniger für KI-Berechnungen unter dem Namen Tensor Processing Unit (TPU). Die nutzt das Unternehmen nicht nur zum Trainieren seiner eigenen Modelle, etwa des Sprachmodells Palm . Als Cloud-Instanz können sie auch gemietet werden. Auf seiner Entwicklermesse Cloud Next(öffnet im neuen Fenster) kündigte Google an(öffnet im neuen Fenster) , dass Kunden nun mit der TPU v5e das neueste Modell zur Verfügung steht.
Das gilt allerdings zunächst nur für Auserwählte, die TPU-v5e-Instanzen sind vorerst lediglich als Preview zugänglich. Gegenüber dem Vorgänger sollen sie die doppelte Trainingsleistung bieten, beim Inferencing übertreffen sie die TPU v4 gar um das Zweieinhalbfache. Zudem sollen die Instanzen sehr günstig sein, bei der Leistung pro Dollar soll Googles Beschleuniger deutlich besser sein als GPUs: Zwei Kunden-Statements sprechen von einer Reduktion der Kosten um einen Faktor zwischen vier und sechs.
In seinen Rechenzentren verbaut Google die TPU v5e in sogenannten Pods mit 256 Chips. Die sind mit einer Bandbreite von 400 TBit/s verbunden und schaffen 100 PetaOPS bei Int8. Vermietet werden sie in acht Schritten, vom einzelnen Chip bis zum ganzen Pod. Anders als die TPU-v4-Instanzen sind die Nachfolger auch nicht mehr auf maximal 3.072 Chips begrenzt. Möglich macht das eine Technik namens Multislice, Kunden sollen damit zehntausende TPUs nutzen können.
Verwenden lassen sich die Chips aus Frameworks wie Pytorch und Tensorflow, Google integriert sie auch in seine Kubernetes Engine sowie Vertex AI.
H100-Instanzen für alle buchbar
Während die TPU zunächst nur eingeschränkt zugänglich ist, verlassen die A3-Instanzen ab September die Preview-Phase. Sie sind mit Nvidias H100-GPUs ausgestattet, Google hatte sie im Mai 2023 bei der Hausmesse I/O vorgestellt .
Auch hier setzt Google eigene Technik ein: Die einzelnen Server mit je acht per Nvlink 4.0 verbundenen H100 sind über die selbst entwickelte Netzwerkhardware Jupiter vernetzt.