StableLM: Stability AI veröffentlicht freie Sprachmodelle
Stability AI, das Unternehmen, das am besten für seine Arbeiten an der KI-Bildgenerierung Stable Diffusion bekannt ist, hat mit StableLM erstmals KI-Sprachmodelle veröffentlicht(öffnet im neuen Fenster) . Diese stehen unter einer freien Lizenz und bilden den Anfang einer ganzen Modellfamilie, wie die Macher versprechen. Veröffentlicht werden die Basismodelle dabei unter der Copyleft-Lizenz CC BY-SA-4.0, von Stability AI selbst per Finetuning verbesserte Modelle stehen jedoch unter einer nicht-kommerziellen Lizenz.
Zunächst verfügbar sind Modelle mit 3 sowie 7 Milliarden Parametern. Später folgen sollen größere Modelle mit 15 und gar bis zu 65 Milliarden Parametern. Das Training für diese läuft offenbar bereits. Geplant ist darüber hinaus künftig auch ein Modell mit 175 Milliarden Parametern. Die Qualität der bereits veröffentlichten Modelle beschreibt das Team derzeit noch als Alpha. Trainiert werden die Modelle mit einem Datensatz, der 1,5 Billionen Token enthält.
Zur Ankündigung schreibt das Team: "Mit der Einführung der StableLM-Modellreihe macht Stability AI grundlegende KI-Technologien weiterhin für alle zugänglich. Unsere StableLM-Modelle können Text und Code generieren und werden eine Reihe von nachgelagerten Anwendungen unterstützen. Sie zeigen, wie kleine und effiziente Modelle mit entsprechendem Training eine hohe Leistung erbringen können."
Um dies zu testen, stellen die Beteiligten einen auf den Modellen basierenden Chatbot zur Verfügung, der über Hugging-Face genutzt werden kann(öffnet im neuen Fenster) . Das Team hofft, dass ähnlich wie bei Stable Diffusion auf Grundlage der Sprachmodelle weitere Anwendungen entwickelt werden. So hofft das Team etwa auf eine native Portierung analog zu Llama.cpp oder auf eine Integration in den Open Assistant von Laion-AI.