Für Transformer: KI-Beschleuniger Sohu soll 20 H100 ersetzen
Der KI-Boom machte Nvidia zum – nach Börsenbewertung – wertvollsten Unternehmen der Welt. Vom KI-Kuchen wollen sich aber auch andere Unternehmen ein Stück abschneiden, darunter auch eine Reihe von Start-ups. Eines davon ist Etched(öffnet im neuen Fenster), das einen speziell für Transformer-Modelle ausgelegten Beschleunigerchip entwickelt. Dafür sind in einer Serie A-Finanzierung(öffnet im neuen Fenster) 120 Millionen US-Dollar zusammengekommen, wie Techcrunch(öffnet im neuen Fenster) und andere Medien berichten.
Bekanntester Investor ist Peter Thiel, von dessen Stipendienprogramm bereits drei der Etched-Gründer laut Techcrunch profitierten. Mit dem Geld will das Start-up seinen Sohu genannten KI-Beschleuniger fertigen lassen. Der ist noch deutlich stärker auf eine spezifische Anwendung ausgelegt als etwa Googles Tensor Processing Units. Sohu ist nur für das Inferencing mit Transformer-Modellen ausgelegt. Die stehen als aktueller Stand der Technik hinter allen großen Sprachmodellen sowie Bild- und Videogeneratoren.
Aufgrund der hohen Spezialisierung soll Sohu deutlich leistungsfähiger und effizienter sein als Nvidias GPUs und auch andere, weniger spezialisierte KI-Beschleuniger. Bei Metas Llama 3 mit 70 Milliarden Parametern (Llama 70B) etwa soll der Beschleuniger bei Verwendung von 16-Bit-Gleitkommazahlen (FP16) mehr als 20-mal so viele Tokens pro Sekunde verarbeiten können wie Nvidias H100 – und damit ebenso viele ersetzen. Demnächst soll ein Preview-Programm starten, Interessenten haben Etched zufolge bereits für Millionen US-Dollar Hardware vorbestellt.
Gerüstet für noch größere Modelle
Ob aber die Produktion des Sohu-Chips – er soll bei TSMC in einem 4-nm-Prozess hergestellt werden, mutmaßlich N4X – bereits gestartet wurde, bleibt offen. Die Speicherausstattung ist mit 144 Gbyte HBM3e etwas weniger üppig geplant als bei Nvidias B200. Laut Etched soll der Speicher für Modelle mit über 100 Milliarden Parametern reichen – allerdings ohne Angabe des verwendeten Datenformats.
Dass die neue Konkurrenz bei Nvidia für schlaflose Nächte sorgt, ist indes unwahrscheinlich. Denn für das Training von KI-Modellen bleibt die Hardware des Unternehmens weiter wichtig. Etched hingegen muss sich gegen eine Reihe anderer Start-ups behaupten, die speziell angepasste Inferencing-Beschleuniger entwickeln. Eines davon ist Groq, das bereits einen für Transformer angepassten Beschleuniger(öffnet im neuen Fenster) entwickelte.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.