Digitale Souveränität: Soofi, Deutschlands Chance auf KI-Souveränität?
Inhalt
Dieser Golem-Plus-Artikel ist 24 Stunden frei verfügbar.
Deutschland soll bei KI unabhängiger von den USA werden, die zunehmend den Zugriff auf moderne Modelle beschränken. Dafür soll das Konsortium Soofi(öffnet im neuen Fenster) Open-Source-Modelle erstellen; von der Bundesregierung gab es für diesen Zweck Millionen.
Mitte Juni wurde mit Soofi-S das erste Modell vorgestellt (PDF)(öffnet im neuen Fenster). Es soll das erste einer Reihe von Foundation-Modellen sein, die beispielsweise Unternehmen auf ihre Bedürfnisse anpassen können. Das Konsortium will nicht nur Code und Modellgewichte unter Apache-Lizenz veröffentlichen – Soofi soll auch bei den Trainingsdaten offen sein. Laut Pressemitteilung (PDF)(öffnet im neuen Fenster) "erreicht Soofi im Englischen in seiner Größenklasse Spitzenwerte unter den offenen Modellen; im Deutschen führt es die Vergleichsgruppe an".
Dennoch erntete das Projekt reichlich Kritik: Für das viele Geld(öffnet im neuen Fenster) sei nur ein Nvidia-Modell neu trainiert(öffnet im neuen Fenster) und bei dessen Bewertung auch noch getrickst worden(öffnet im neuen Fenster). Wir sprachen darüber mit Alexander Löser, der die Forschungsgruppe Datexis(öffnet im neuen Fenster) (Data Science and Text-based Information Systems) an der Berliner Hochschule für Technik leitet, die an Soofi für das Reinforcement Learning zuständig ist. Er sagt: "Soofi-S ist ein gutes Modell und wir haben hier, trotz Gegenwind aus allen Richtungen, eine enorme Leistung am Standort Deutschland hinbekommen."
Die Strategie von Soofi erklärt Löser so: Europa und Deutschland bräuchten bei KI eine andere Strategie als die USA und China – Ensembles von kleineren, aber spezialisierten Modellen. So ließen sich sogar die Frontier-Modelle mit Billionen Parametern schlagen. Massenweise riesige Rechenzentren zu bauen, könne nicht die Lösung sein, dafür fehle allein schon die Energieinfrastruktur.
Soofi-S hat Testfragen auswendig gelernt
Vor allem interessiert uns Lösers Einschätzung zur Kritik an Soofi. Ein wichtiger Vorwurf: Der Leistungsvergleich zwischen Soofi-S und anderen Modellen sei manipuliert(öffnet im neuen Fenster). Konkret geht es um den eigenen Benchmark, der Soofi-S mit Ausnahme von Qwen 3.5 35B A3B deutlich vor anderen Modellen sieht, sowie den von der TU Darmstadt entwickelten Trainingsdatensatz TUDA/QA-base(öffnet im neuen Fenster). Er enthielt paraphrasierte Fragen, unter anderem aus dem Test GPQA-Diamond(öffnet im neuen Fenster). Durch dieses sogenannte Test Data Leakage konnte das Modell praktisch die Antworten auswendig lernen. Als Erster wies der KI-Forscher Elie Bakouch bei X darauf hin.
Der Test besteht aus komplexen Fragen, die umfangreiches Fachwissen erfordern. Er ist ein Standardbenchmark für große Sprachmodelle. Dabei schneidet Soofi-S im Vergleich zu Nvidias Version von Nemotron 3 Nano, auf dem es aufbaut, besonders gut ab. – Kein Wunder?
Löser sagt, es sei lediglich ein einziger Benchmark-Datensatz betroffen gewesen – und mittlerweile auch korrigiert worden. Die anderen mehr als 80 Benchmarks seien in Ordnung; es sei also "eher sehr sorgfältig gearbeitet" worden. Allerdings ist das GPQA-Ergebnis maßgeblich für den Vorsprung im eigenen Benchmarksatz (Capability Index) verantwortlich, wie Bakouch hervorhebt. Im Capability Index macht es ein Fünftel des Gesamtergebnisses aus.
Den Datensatz lernte Soofi-S in der Annealing-Phase, in der das neuronale Netz durch Training mit hochwertigen Daten und niedriger Lernrate in einen Optimalzustand gebracht werden soll. Und zwar öfter als alle anderen Datensätze: Zehn Epochen, also Durchläufe durch den gesamten Datensatz, waren es laut dem veröffentlichten Bericht(öffnet im neuen Fenster) (siehe Tabelle 8 im Anhang).
Zwar ist der Datensatz der kleinste, und dass kleine Datensätze aufgrund der niedrigen Tokenzahl häufiger wiederholt werden, ist durchaus üblich. Doch bei allen anderen Datensätzen – auch ähnlich kleinen wie nvidia/Nemotron-RLHF-GenRM-v1, nvidia/Nemotron-Science-v1 und nvidia/Nemotron-SWE-v1 – waren es maximal zwei Durchläufe.
Effektiv hat das Modell damit sowohl von der deutschen als auch der englischen Version von TUDA/QA-base mehr Tokens gesehen als von den anderen drei genannten Datensätzen. Dass Test Data Leakage durchaus spürbare Effekte auf die Leistung eines Modells in Benchmarks haben kann, zeigten Forscher des französischen Instituts Inria (Veröffentlichung bei Arxiv(öffnet im neuen Fenster), siehe Abschnitt 5.3).
GPQA-Antworten durch Fehler in Trainingsdaten gelandet
Löser hält dagegen, die GPQA-Paraphrasen seien aufgrund eines Fehlers in den Trainingsdaten gelandet. Von Hugging Face sei ein GPQA-Datensatz heruntergeladen worden, der fälschlicherweise als Trainingsdatensatz gelabelt gewesen sei.
Aufgefallen sei das, da es im Bericht gestanden habe; zu dem Zeitpunkt sei das Training aber bereits abgeschlossen gewesen. Fehler könnten bei einem so umfangreichen Datensatz passieren, deshalb versuche man, alles transparent zu machen. Bei nachfolgenden Trainingsläufen habe man die Daten entfernt.
Nach unserem Gespräch wurde auch der Bericht entsprechend ergänzt(öffnet im neuen Fenster), GPQA aus dem Benchmark herausgerechnet. Dort ist zu lesen, dass während des Trainings keine auffällige, sprunghafte Steigerung des GPQA-Ergebnisses aufgetreten sei, weshalb das Problem unbemerkt geblieben sei.
Den Capability Index strichen die Verantwortlichen ersatzlos, stattdessen wird nun die Gesamtleistung (aggregate performance) als Vergleich herangezogen. Für die auffällig vielen Trainingsläufe allerdings hatte Löser keine befriedigende Erklärung, er führte sie auf die Annealing-Phase zurück.
Auch die Kosten ordnete Löser ein: Den Großteil verursacht das Training.
- Anzeige Hier geht es zu The Apprentice - The Trump Story bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.