X.AI Grok-1: Das KI-Modell von Elon Musks Startup steht quelloffen
Das von Elon Musk gegründete Unternehmen X.AI arbeitet seit einiger Zeit an einem eigenen allgemeinen Large Language Model. Grok-1 spezialisiert sich nicht auf eine Aufgabe und soll stattdessen als Mixture-of-Experts-Model diverse Aufgaben erfüllen können. Das Startup stellt Grok-1 nun quelloffen. Das Modell kann auf 314 Milliarden Parameter zugreifen und ist entsprechend sehr groß.
Die quelloffene Version von Grok-1 wird als Rohmodell ausgeliefert und muss deshalb von Usern auf entsprechende Tasks trainiert werden. Die Gewichte und Architektur des veröffentlichten Repositorys werden unter der Apache-2.0-Lizenz zur Verfügung gestellt. Andere Aspekte sind allerdings nicht Open Source.
Für das Training wurden vor allem Textdaten verwendet. Das Modell kann also wie etwa GPT-4 größtenteils Text generieren und interpretieren. Das Training wurde zudem auf Basis von Jax und Rust durchgeführt und schon im Oktober 2023 beendet. Möglicherweise hat das Unternehmen eine Version 2 des Modells bereits in Arbeit.
Leistungsfähiger Computer erforderlich
Die Assets des Modells können auf Github heruntergeladen(öffnet im neuen Fenster) werden. Im Repository ist auch ein Jax-Codebeispiel enthalten, das den Code für das Ausführen und Laden von Grok-1 enthält und erklärt. Die Gewichte des Modells können zudem über einen Magnet-Link per Torrent-Client heruntergeladen werden. Der Link wird zusammen mit der Dokumentation ebenfalls auf Github veröffentlicht.
Laut Hersteller ist es sinnvoll, einen Computer mit ausreichend GPU-Speicher für die Nutzung von Grok-1 mit 314 Milliarden Parametern zu verwenden - allein, um das Demo-Programm laufen zu lassen. So wird nicht jede Person in der Lage sein, mit dem Modell zu experimentieren.