Inferenz zu einem Bruchteil der Kosten
Jeder Napier-Chip verfügt über 256 MByte SRAM sowie 144 GByte HBM3e, auf die mit 40 TByte/s und 4,7 TByte/s zugegriffen werden kann. Die Rechenleistung gibt Tensordyne mit 2,1 PFLops bei FP8 (8-Bit-Gleitkommazahlen) an – die Rubin-GPU liegt hier mit 17,5 PFlops deutlich vorn. Dennoch soll ein Napier-Rack bei einem nicht genauer benannten MoE-Modell (Mixture-of-Experts) mit zwei Billionen Parametern auf 1.300 Token/s kommen, während ein Nvidia-System mit einem Rubin-NVL72- und acht LPU-Racks laut Tensordyne nur 800 Token/s erreichen soll.
Die Kosten pro Million Tokens soll damit von 150 auf nur 11 US-Dollar sinken. Das liegt nicht nur am geringeren Hardware-Einsatz, sondern auch am deutlich niedrigeren Energiebedarf: Während das Nvidia-System auf bis zu 1.500 kW kommt, sollen dem Napier-Rack 120 kW genügen.
Auch gegenüber Systemen mit AWS Trainium3 und Cerebras WSE sieht Tensordyne Napier deutlich im Vorteil: Die sollen bei einer Leistungsaufnahme von 800 kW auf 1.000 Token/s kommen. Eine unabhängige Bestätigung dieser Angaben gibt es bislang nicht. Tensordyne gibt aber an, bei Cloudanbietern auf großes Interesse zu stoßen. Verkäufe im Wert von 200 Millionen US-Dollar seien bereits absehbar, später im Jahr soll zudem eine weitere Finanzierungsrunde folgen.
Chip von Broadcom, Netzwerk von Juniper
Ein so komplexes System lässt sich selbstverständlich nicht komplett in Eigenregie entwickeln. Die Entwicklung des Chips unterstützte Broadcom, das auch etwa an einigen von Googles TPUs beteiligt ist. Das Netzwerk stammt von HPE Juniper.
Gegründet wurde Tensordyne 2017 als Recogni und entwickelte ursprünglich KI-Chips für den Automobilsektor. Neben dem Hauptsitz in Cupertino betreibt das Startup ein Büro in München.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.