Souverän mit Nvidia?
Soofi-S ist stark an Nvidia gebunden, die hohe Leistung von Nemotron beruht auf starker Optimierung für die Hardware des Herstellers. Zwar läuft das Modell auch auf anderer Hardware, ob die gleiche Leistung erreicht wird, ist aufgrund fehlender Optimierung aber unklar. Kritisiert wird zudem(öffnet im neuen Fenster), dass durch die Nutzung eines fertigen Modells kein eigenes Grundlagenwissen geschaffen werde. Löser sieht das pragmatisch: Angesichts der kurzen Projektlaufzeit sei Nvidia praktisch die einzige Option gewesen.
Praktisch komme man an Nvidia aktuell kaum vorbei, was er bedauere. Alternativen wie AMD oder Cerebras seien in Public Clouds zu wenig vertreten. Auf AMD ist Löser wegen der Übernahme von Silo AI ohnehin nicht gut zu sprechen. Die Abhängigkeit von US-Hardware-Herstellern ist kein Problem, das ausschließlich Soofi betreffe. Jede Software läuft auf US-Hardware, da bislang Alternativen fehlen.
Zumindest beim Software-Stack sei Nvidia auch nicht von Beginn an gesetzt gewesen, sagte uns Löser: Anfangs habe Soofi mit Bytedance arbeiten wollen, allerdings sei deren Stack schlecht dokumentiert und die Entwickler seien nicht erreichbar gewesen. Das sei bei Nvidia anders, das Unternehmen sei zudem aufgrund seiner wirtschaftlichen Interessen langfristig ein verlässlicher Partner. Eine technologische Abhängigkeit von China wäre ebenso wenig wünschenswert wie von den USA.
Datenqualität als Erfolgskriterium
Wichtig sei bei Soofi auch die Sicherheit, und Nvidia habe ein sehr gutes Team dafür, welches das Tool Garak(öffnet im neuen Fenster) entwickelt. Weiterhin verwies Löser auf die Trainingsdaten, die das Konsortium als einen Meilenstein der ersten Projektphase sieht.
Die von Soofi genutzten Trainingsdaten bauen zwar großenteils auf bereits vorhandenen offenen Datensätzen auf. Das Projekt legt aber Wert auf hohe Datenqualität, weshalb diese nachgefiltert worden seien, sagt Löser. Dafür seien entsprechende Techniken entwickelt worden.
Hundertprozentige Genauigkeit werde man aber wohl nie erreichen: "Bei 26 Billionen Token wird es immer Phrasen von 10.000 Token oder vielleicht auch mal 50.000 Token geben, wo unsere Classifier versagt haben. Aber keiner hat so einen Classifier, der im Promille-Promille-Bereich agiert."
Insgesamt umfasst der Datensatz aktuell 26 Billionen Tokens, darunter wesentlich mehr deutschsprachige, hochqualitative Daten. Möglich macht das etwa ein kommerzieller Datensatz von Genios, der hauptsächlich Zeitungsartikel enthält.
Trainingsdaten auch Grundlage für größere Modelle
Der Soofi-Datensatz soll auch für größere Modelle als Soofi-S genutzt werden, das insgesamt 31,6 Milliarden Parameter umfasst, von denen lediglich 3,2 Milliarden aktiv sind, da es sich um ein Mixture-of-Experts-Modell (MoE) handelt. Damit ließen sich auch größere Modelle als Soofi-S trainieren, sagte Löser. In den vergangenen Monaten seien zudem interessante deutschsprachige Datensätze veröffentlicht worden.
Man habe aber nicht, darauf legte Löser Wert, einfach Nemotron 3 Nano neu trainiert(öffnet im neuen Fenster) (was Nvidia dank des kompletten Frameworks(öffnet im neuen Fenster) sehr einfach macht), sondern ein eigenes Trainingskonzept entwickelt. Auch der Ansatz für das Reinforcement Learning, das etwa für die Nutzung externer Tools wichtig sei, stamme aus eigener Entwicklung. Daran arbeite auch seine Gruppe.
Zunächst sei mit der Telekom das Trainingssystem für größere Instanzen – 1.024 B200-GPUs nutzte Soofi bislang maximal – aufgesetzt worden. Das habe besser funktioniert als erwartet, lediglich bei einem Lauf im Reinforcement Learning habe es Probleme gegeben. Und allein, dass das BMWE den Bedarf erkannt und Geld bereitgestellt habe, sieht Löser als Erfolg. Dadurch seien deutschlandweit führende Forschungsgruppen erstmalig für eine solche Aufgabe zusammengebracht worden.
Selbst Open Source wird restriktiver
Dass eigene Foundation-Modelle erforderlich sind, begründete Löser damit, dass auch andere Open-Source-Modelle langfristig nicht verlässlich seien. Bei Minimax M3 etwa ist laut Lizenz(öffnet im neuen Fenster) ab 20 Millionen US-Dollar Umsatz mit einem darauf aufgebauten Produkt eine Genehmigung für die Nutzung erforderlich. Jede kommerzielle Nutzung wolle Minimax zudem angezeigt bekommen. Auch andere chinesische Modelle würden wohl restriktiver, sagt Löser, und das sei der Bundesregierung und deutschen Unternehmen zu heikel.
Sich auf Mistral als einzige europäische Alternative zu verlassen, hält Löser für riskant: Das Unternehmen sei mit 11,7 Milliarden Euro(öffnet im neuen Fenster) verhältnismäßig niedrig bewertet, weshalb eine Übernahme nicht auszuschließen sei.
Im Rahmen einer möglicherweise laufenden Finanzierungsrunde(öffnet im neuen Fenster) könnte die Bewertung auf 20 Milliarden Euro steigen. Schon jetzt kämen aber 70 Prozent der Eigentümer nicht aus der EU. Und Mistral gehe seiner Einschätzung nach auch nicht genug auf die Bedürfnisse insbesondere kleinerer und mittlerer Unternehmen ein.
Für Deutschland und Europa brauche es zudem einen anderen Ansatz als den der großen KI-Unternehmen.
- Anzeige Hier geht es zu The Apprentice - The Trump Story bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.