Für Transformer: KI-Beschleuniger Sohu soll 20 H100 ersetzen
Der KI-Boom machte Nvidia zum – nach Börsenbewertung – wertvollsten Unternehmen der Welt . Vom KI-Kuchen wollen sich aber auch andere Unternehmen ein Stück abschneiden, darunter auch eine Reihe von Start-ups. Eines davon ist Etched(öffnet im neuen Fenster) , das einen speziell für Transformer-Modelle ausgelegten Beschleunigerchip entwickelt. Dafür sind in einer Serie A-Finanzierung(öffnet im neuen Fenster) 120 Millionen US-Dollar zusammengekommen, wie Techcrunch(öffnet im neuen Fenster) und andere Medien berichten.
Bekanntester Investor ist Peter Thiel, von dessen Stipendienprogramm bereits drei der Etched-Gründer laut Techcrunch profitierten. Mit dem Geld will das Start-up seinen Sohu genannten KI-Beschleuniger fertigen lassen. Der ist noch deutlich stärker auf eine spezifische Anwendung ausgelegt als etwa Googles Tensor Processing Units . Sohu ist nur für das Inferencing mit Transformer-Modellen ausgelegt. Die stehen als aktueller Stand der Technik hinter allen großen Sprachmodellen sowie Bild- und Videogeneratoren.
Aufgrund der hohen Spezialisierung soll Sohu deutlich leistungsfähiger und effizienter sein als Nvidias GPUs und auch andere, weniger spezialisierte KI-Beschleuniger. Bei Metas Llama 3 mit 70 Milliarden Parametern (Llama 70B) etwa soll der Beschleuniger bei Verwendung von 16-Bit-Gleitkommazahlen (FP16) mehr als 20-mal so viele Tokens pro Sekunde verarbeiten können wie Nvidias H100 – und damit ebenso viele ersetzen. Demnächst soll ein Preview-Programm starten, Interessenten haben Etched zufolge bereits für Millionen US-Dollar Hardware vorbestellt.
Gerüstet für noch größere Modelle
Ob aber die Produktion des Sohu-Chips – er soll bei TSMC in einem 4-nm-Prozess hergestellt werden, mutmaßlich N4X – bereits gestartet wurde, bleibt offen. Die Speicherausstattung ist mit 144 Gbyte HBM3e etwas weniger üppig geplant als bei Nvidias B200 . Laut Etched soll der Speicher für Modelle mit über 100 Milliarden Parametern reichen – allerdings ohne Angabe des verwendeten Datenformats.
Dass die neue Konkurrenz bei Nvidia für schlaflose Nächte sorgt, ist indes unwahrscheinlich. Denn für das Training von KI-Modellen bleibt die Hardware des Unternehmens weiter wichtig. Etched hingegen muss sich gegen eine Reihe anderer Start-ups behaupten, die speziell angepasste Inferencing-Beschleuniger entwickeln. Eines davon ist Groq, das bereits einen für Transformer angepassten Beschleuniger(öffnet im neuen Fenster) entwickelte.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.