Wird Soofi-S als mehr angepriesen, als es ist?
Eine Reihe von Reaktionen auf die Ankündigung von Soofi-S bei X zeigen bereits, dass das Modell – vermutlich aus Unwissen – in den Kontext deutlich größerer Modelle gebracht wird: So bezeichnet etwa die Gruppierung NXT EU Soofi(öffnet im neuen Fenster) als "eines der besten Open-Source-KI-Modelle". Dabei existieren wesentlich größere und leistungsfähigere Open-Source-Modelle.
Michael Fromm, der das Pre-Training von Soofi leitet, bedankt sich für die Erwähnung auf X, weist aber trotz einer Klarstellung nicht auf die Bedeutung der Modellgröße hin. Karl Lauterbach schrieb von einer(öffnet im neuen Fenster) "Top Open-Source KI", und Daniel D. Eckert, der unter anderem für Welt und Business Insider schreibt, ist begeistert(öffnet im neuen Fenster): "Wenn das stimmt, ist Deutschland zurück im Rennen um künstliche Intelligenz!"
Uns überraschte beim VDI-Podcast Lösers auch gegenüber uns wiederholte Aussage, Soofi-S sei auf dem Niveau von Mistral. Im VDI-Interview geht er sogar noch weiter: "Mistral ist derzeit mit 11,7 Milliarden bewertet. Und wenn wir jetzt um die Ecke kommen und sagen, das, wofür ihr Geld nehmt, kriegt ihr bei uns for free, ist Apache Open Source, kann jeder einsetzen." Das kann so verstanden werden, als seien die Cloudmodelle des französischen Unternehmens oder möglicherweise das Open-Weights-Modell Mistral Large 3 675B(öffnet im neuen Fenster) die Referenz.
Gegenwind für Open-Source-Modelle erwartet
Auf Nachfrage, welches Modell damit genau gemeint sei, konkretisierte Löser: Selbstverständlich sei die gleiche Größenordnung gemeint, also etwa Mistral Small 3.2 24B(öffnet im neuen Fenster). Auch beim Vergleich mit Mistral erwartet er jedoch nicht, dass solche Aussagen dazu führen könnten, dass Nutzer von Soofi-S zu viel erwarteten.
Auch wenn Soofi bislang nur an – gemessen am Stand der Frontier- und großer Open-Source-Modelle – kleinen Modellen arbeitet, erwartet Löser Gegenwind für das Projekt. Im VDI-Podcast sagte er, er rechne damit, dass versucht werde, Soofi schlechtzumachen, insbesondere vonseiten amerikanischer KI-Unternehmen. Das könnte man als Erwartung einer koordinierten Kampagne verstehen.
Im Gespräch mit Golem widersprach Löser dieser Interpretation jedoch ausdrücklich. Seine Aussage habe sich nicht auf eine koordinierte Kampagne bezogen. Vielmehr gehe er davon aus, dass große US-KI-Unternehmen ein wirtschaftliches Interesse daran hätten, ihre eigenen Ansätze und Geschäftsmodelle in Politik und Unternehmen zu vertreten. Sollten sich souveräne, frei verfügbare KI-Modelle – insbesondere im Unternehmensbereich – in Europa durchsetzen, könnte das deren Wachstumsstrategie unter Druck setzen.
Höhere Leistung mit weniger Parametern
Löser ist überzeugt, dass sich hohe Leistung auch mit kleineren Modellen erreichen lässt – und nicht nur mit den riesigen Sprachmodellen mit Billionen Parametern, auf die Anthropic und OpenAI setzen. Möglich macht diese scheinbare Paradoxie eine starke Spezialisierung: Während die Frontier-Modelle Generalisten sind, lassen sich auch kleinere Modelle als Spezialisten für ein Spezialgebiet trainieren.
In diesem können sie wesentlich größere Modelle übertreffen. Ausgehend von einem größeren Basismodell werden Experten mit Spezialwissen nachtrainiert. Das Basismodell bringt Weltwissen mit, das nachträgliche Training integriert nicht öffentlich verfügbares Fachwissen. Über kontinuierliches Lernen sollen sich die Experten zudem permanent verbessern. Über einen Ensemble-Ansatz ließen sich, so Löser, Experten für verschiedene Fachgebiete kombinieren.
Als Beispiel nennt er die Entwicklung eines Elektroautos mit spezifizierter Reichweite: Hier sei Fachwissen in den Bereichen Polymerchemie, Regulatorik und Batterieforschung erforderlich. Da könne jeweils durch einen spezialisierten Experten bereitgestellt werden.
Deutsche Unternehmen verfügten über umfangreiches Fachwissen, das sie durch das Erstellen und Anbieten von Expertenmodellen gewinnbringend nutzen könnten, sagt Löser. Dieser Ansatz widerspricht dem der großen KI-Unternehmen, immer größere Modelle mit immer breiterem Wissen zu erstellen. Nach seiner Einschätzung versuchen diese Unternehmen deshalb, ein ihr gegenteiliges Narrativ in Politik und Wirtschaft zu etablieren.
Bei der Hardware endet die Souveränität
Den Souveränitätsgedanken von Soofi stört allerdings, dass das Konsortium, zumindest bislang, stark auf Nvidia setzt. Wie souverän kann das wirklich sein? Die US-Regierung hat bereits in der Vergangenheit durchblicken lassen, dass sie die Möglichkeit und den Willen hat, den Export von KI-Hardware auch nach Europa einzuschränken oder ganz zu untersagen. Deutlich machten dies die Pläne der US-Regierung unter Ex-Präsident Joe Biden zur AI Diffusion Rule (g+).
Diese AI Diffusion Rule hätte vielen kleineren Ländern Obergrenzen für die Zahl an GPUs auferlegt, die sie kaufen dürften. Zwar waren Ausnahmen vorgesehen, viele europäische Unternehmen und Universitäten würden aber dennoch abhängig vom Wohlwollen der USA.
Dass ähnliche Pläne unter der Regierung von Donald Trump umgesetzt werden, ist nicht auszuschließen. Der setzte zwar die AI Diffusion Rule aus – zu bürokratisch -, machte aber selbst bereits Andeutungen, nur US-Unternehmen sollten die modernste Nvidia-Hardware bekommen.
- Anzeige Hier geht es zu The Apprentice - The Trump Story bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.