LlaMA: Metas KI-Modell wird schon per Torrent im Internet geteilt
Wie viele andere großen Techkonzerne arbeitet auch Meta an einem eigenen Machine-Learning-Modell für diverse Anwendungsfälle. Ende Februar stellte das Unternehmen LlaMA vor, das Entscheidungen aus 65 Milliarden Parametern trifft. Eigentlich erhalten nur ausgewählte Testgruppen Zugang zum Modell. Allerdings wird es bereits mittels Torrent im Internet geteilt. Es existiert dazu ein Github-Repository zum Thema(öffnet im neuen Fenster) - inklusive Installationsanleitungen für verschiedene Betriebssysteme.
Erste Tests der Community ergeben, dass LlaMA zumindest auf einer Höhe von Text-davinci ist, welches seinerseits auf OpenAIs GPT-3-Modell basiert arbeitet. Metas Software generiert also relativ genau diverse Textstücke auf Basis von User-Eingaben.
"Ich habe es übersetzen und Gedichte verfassen, Witze und Unterhaltungen generieren und Code schreiben lassen" , schreibt User MacsHeadroom(öffnet im neuen Fenster) auf dem Portal Hacker News. Er verwendet die 65B-Variante mit vollen 65 Milliarden Parametern und 8 Bit Quantisierung. In der Cloud bei Vast.ai kostet das 1,5 US-Dollar pro Stunde.
Gute Ergebnisse von Meta
Die auf Github geteilte Version enthält alle Gewichtungen des Modells mit 7, 13, 30 und 65 Milliarden Parametern. Heruntergeladen wird es von einem Ubuntu-Server in Chicago. Es nimmt zudem 219 Gigabyte an Daten auf dem Hostsystem ein.
Aktuell testet die Community noch Gewichtungen und Temperatureinstellungen aus. "Ich musste beides ziemlich hoch ansetzen, um die besten Ergebnisse zu bekommen" , schreibt MacsHeadroom. Der Tester Shawn Pesser hat auf Twitter(öffnet im neuen Fenster) zudem eigene Ergebnisse geteilt. Unter anderem hat die KI einen Aufsatz zum Thema Relativitätstheorie verfasst.
Obwohl das wahrscheinlich nicht so geplant war, könnte Meta die bisherige Community-Arbeit möglicherweise gutheißen. "Wir freuen uns darauf, was die Community mit LlaMA lernen und irgendwann auch bauen kann" , schreibt das Unternehmen im Ankündigungspost(öffnet im neuen Fenster) .
Eventuell wäre es eine sinnvolle Entscheidung, die Community auch offiziell in Tests mit einzubeziehen. Diesen Ansatz verfolgt beispielsweise Microsoft mit dem KI-gestützten Bing. Google lässt den eigenen Sprachgenerator Bard hingegen bisher nur intern testen.