Not macht erfinderisch: Fehlende Rechen-GPUs machen Chinas KI-Branche kreativ

Die KI-Branche in China muss mit alter Hardware arbeiten. Doch das könnte Innovationen beflügeln.

Artikel veröffentlicht am 10. Mai 2023, 13:29 Uhr, Johannes Hiltscher

Wer wenig Rechenleistung zur Verfügung hat, muss sich genau überlegen, wie er sie nutzt. (Bild: Marco Verch, Flickr/CC-BY 2.0)

Auch in China ist künstliche Intelligenz ein riesiges Geschäft, und das wollen sich Firmen wie Baidu oder Alibaba nicht von Exportbeschränkungen kaputtmachen lassen. Die rechenaufwendigen Trainings großer Sprachmodelle (Large Language Models, LLMs) sind nur mit leistungsfähigen Beschleunigern zu bewältigen, deren Verkauf in die Volksrepublik die US-Regierung verbietet. Das Wall Street Journal hat sich angesehen, wie die betroffenen Unternehmen darauf reagieren.

Dazu werteten die Autoren wissenschaftliche Veröffentlichungen aus, die zeigen: Chinesische Forscher versuchen, mit mehr und aggressiverer Optimierung die verfügbare Rechenleistung besser zu nutzen. Gleichzeitig beschränken die betroffenen Unternehmen den Zugriff auf die vorhandene, noch unbeschränkte Hardware – rund 40.000 bis 50.000 A100 von Nvidia sollen es sein – auf besonders wichtige Projekte. Als Beispiel wird Baidus Ernie Bot genannt, der ChatGPT Konkurrenz machen soll.

Beide Maßnahmen sind ein Gebot der ökonomischen Vernunft: Während andere Unternehmen Nvidias leistungsstarke H100 nutzen können, ist in China nur eine eingeschränkte Variante erhältlich. Bereits die A800 für den chinesischen Markt ist deutlich langsamer als die A100, beim Nachfolger H800 dürfte der Unterschied noch gravierender sein. Um die Rechenleistung der H100 annähernd zu erreichen, würden, so ein vom Wall Street Journal befragter Experte, Unternehmen bis zu vier ältere Beschleuniger kombinieren. Dieser Ansatz ist zwar einfach, aber auch teuer. Für das Training eines komplexen LLMs wie ChatGPT sind Schätzungen zufolge 5.000 bis 10.000 A100 erforderlich – Tendenz steigend.

Unübliche Ansätze könnten neue Einsichten liefern

Ein weiterer, eher ungewöhnlicher Ansatz: Rechenbeschleuniger mehrerer Hersteller oder verschiedener Generationen kombinieren. Die Herausforderung hierbei ist, die unterschiedliche Rechenleistung auszugleichen. Andernfalls könnte die leistungsschwächere Hardware die rechenstärkeren Beschleuniger ausbremsen.

Die Not der chinesischen Unternehmen könnte dabei auch anderen Unternehmen zugutekommen: Veröffentlichen sie ihre Ergebnisse weiter, können alle aus Versuchen lernen, die bei reichlich vorhandener Rechenleistung möglicherweise nie stattgefunden hätten.

Das Wall Street Journal gibt zudem einen Hinweis, weshalb Hardware aus den USA in China noch immer beliebt ist, obwohl das Land eigene KI-Beschleuniger entwickelt hat: Die eigene Hardware sei oft unzuverlässig, so die Zeitung unter Berufung auf ungenannte, mit der KI-Entwicklung bei Baidu vertraute Personen.