TPU v6e alias Trillium: Googles neuer KI-Beschleuniger rechnet deutlich schneller
Google hat auf seiner Hausmesse I/O einen neuen KI-Beschleuniger vorgestellt. Erstmals bekommt dieser keine Versionsnummer, sondern den Namen Trillium - die wissenschaftliche Bezeichnung der Waldlilien(öffnet im neuen Fenster) . In einem Blogeintrag(öffnet im neuen Fenster) geht das Unternehmen auf die Neuerungen ein, bleibt aber gewohnt oberflächlich.
Trillium beerbt die TPU v5e, die Kunden seit nicht einmal einem Jahr nutzen können. Der Umstieg, der für Kunden transparent sein soll, lohnt sich laut Google: Trillium rechnet 4,7-mal schneller als der Vorgänger, holt damit fast Nvidias H100 ein und soll 67 Prozent effizienter als die TPU v5e sein. Für Google steht dabei allerdings im Vordergrund, dass Trillium größere Modelle ermöglichen solle.
Die höhere Rechenleistung erreicht Google durch größere Matrix-Recheneinheiten und einen höheren Takt. Das legt, auch wenn das Unternehmen es so nicht sagt, den Umstieg auf einen neueren Fertigungsprozess nahe. Auch die Sparsecores, die Berechnungen auf unstrukturierten Daten beschleunigen, sollen überarbeitet worden sein - Details dazu gibt es nicht.
Google fährt bei TPUs zweigleisig
Unverändert verbindet Google 256 TPUs direkt zu einem sogenannten Pod, die Bandbreite der optischen Verbindungen wurde allerdings verdoppelt. Reicht ein Pod nicht, lassen sich mehrere kombinieren, verbunden sind sie über das ebenfalls selbst entwickelte optische Netzwerk Jupiter .
Google verdoppelte auch Größe und Bandbreite des HBM-Speichers. Damit überholt Trillium die zuletzt vorgestellte TPU v5p zwar bei der Rechenleistung, in allen anderen Bereichen führt aber weiter das Performance-Modell. Hier könnte später im Jahr ebenfalls mit einem Nachfolger zu rechnen sein.
| v4 | v5e | v5p | v6e (Trillium) | |
|---|---|---|---|---|
| Chips pro Pod | 4.096 | 256 | 8.960 | 256 |
| BF16 TFLOPS | 275 | 197 | 459 | 926? |
| INT8 TOPS | Nicht unterstützt | 394 | 918 | 1.852 |
| High-Bandwidth-Memory (GByte) | 32 | 16 | 95 | 32 |
| Speichedurchsatzrate (GByte/Sek) | 1.228 | 820 | 2.765 | 1.640 |
| Chip-zu-Chip-Verbdindung (GBit/s) | 2.400 | 1.600 | 4.800 | 3.200 |
Kunden meldeten bereits Interesse an
Wie die Vorgänger wird Google Trillium auch für eigene Zwecke nutzen: Die gestiegene Leistung soll etwa künftigen Versionen des eigenen Sprachmodells Gemini zugutekommen. Daneben signalisierten weitere Kunden Interesse: Laut Google meldeten sich bereits das Robotikunternehmen Nuro, Deep Genomics für die Medikamentenentwicklung sowie der Wirtschaftsprüfer und -berater Deloitte.