Ant Group: KI-Training mit Huawei-Hardware 20 Prozent günstiger
Bei künstlicher Intelligenz herrscht ein Wettlauf zwischen den USA und der Volksrepublik China. Beim Training von Modellen galten bislang die Rechenzentrums-GPUs des US-Unternehmens Nvidia als alternativlos - trotz hoher Kosten und beschränkter Leistung der Varianten für die Volksrepublik. Die Ant Group, ein zu Alibaba gehörendes Fintech-Unternehmen, will dafür erstmals erfolgreich und fast ausschließlich auf Huaweis Ascend 910B gesetzt und damit sogar gespart haben(öffnet im neuen Fenster) .
Das geht aus einem technischen Bericht hervor, den ein KI-Team des Unternehmens auf Arxiv veröffentlichte(öffnet im neuen Fenster) . Hier präsentiert das Team nicht nur Ergebnisse seiner zwei unter dem Namen Bailing (Lerche) veröffentlichten Mixture-of-Experts-Modelle, sondern auch eine Bewertung der Trainingskosten. Grundlage dafür ist eine Tabelle mit Kosten für eine GPU-Stunde. Zwar wird die verglichene Hardware nur mit A bis E benannt; bis auf Gerät B ließen sich aber alle eindeutig zuordnen.
So handelt es sich bei Gerät A, das laut der Auflistung am besten verfügbar ist, um Huaweis Ascend 910B, Geräte C bis E sind Nvidia-Hardware (A100/A800, H100/H800 und H20 ). Das Pre-Training des Bailing-Plus-Modells mit 290 Milliarden Parametern ließ das Team laut Bericht auf leistungsschwächerer Hardware laufen. Gemeint sind damit die Ascend 910B, da eine Grafik die Auswirkungen verschiedener Anpassungen an diese auf die Lernkurve eines Megatron-Modells zeigt. Auch ergibt keine andere Hardware passende Zahlen.
Aufwand ist höher
Zwar ist bekannt, dass Deepseek die Huawei-Beschleuniger für Inferencing nutzt, für das Training galten sie allerdings auch unter chinesischen KI-Entwicklern als unbeliebt. Es soll weniger stabil laufen als auf Nvidia-Hardware, was häufigere Checkpoints und Wiederholungen von Trainingsschritten erforderlich macht.
Dies will das Team allerdings durch eine Reihe eigener Frameworks und Optimierungen in den Griff bekommen haben. Die sollen sogar das Training auf heterogener Hardware ermöglichen. Da die Ascend-Beschleuniger deutlich günstiger sind als Nvidias Hopper-GPUs - für die aktuelle Ascend 910C soll der Stückpreis bei rund 2.600 Euro liegen - rechnet sich ihr Einsatz trotz geringerer Leistung: Dem Bericht zufolge kostet das Training von Bailing Plus mit einer Billion Tokens auf Ascend 910B lediglich 5,08 Millionen Yuan (rund 648.000 Euro), auf H800 hingegen 6,35 Millionen Yuan (rund 810.000 Euro).
Interessant ist zudem noch eine Randnotiz: Das Team ordnete nicht nur die Kosten, sondern auch die Verfügbarkeit der betrachteten Hardware ein. Die H20 wird als schlechter verfügbar einstuft als die H800, die nicht mehr exportiert werden darf . Dies kann ein Beleg für den mutmaßlich umfangreichen Schmuggel von H100 gesehen werden.