LlaMA: Metas KI-Modell wird schon per Torrent im Internet geteilt

LlaMA ist Metas Ansatz, mit ChatGPT und anderen Sprachgeneratoren zu konkurrieren. Offenbar ist das Modell nun unfreiwillig geleakt.

Artikel veröffentlicht am 9. März 2023, 13:45 Uhr, Oliver Nickel

Metas Sprachmodell LlaMA wird bereits ausprobiert. (Bild: Pixabay.com/Pixabay License)

Wie viele andere großen Techkonzerne arbeitet auch Meta an einem eigenen Machine-Learning-Modell für diverse Anwendungsfälle. Ende Februar stellte das Unternehmen LlaMA vor, das Entscheidungen aus 65 Milliarden Parametern trifft. Eigentlich erhalten nur ausgewählte Testgruppen Zugang zum Modell. Allerdings wird es bereits mittels Torrent im Internet geteilt. Es existiert dazu ein Github-Repository zum Thema – inklusive Installationsanleitungen für verschiedene Betriebssysteme.

Erste Tests der Community ergeben, dass LlaMA zumindest auf einer Höhe von Text-davinci ist, welches seinerseits auf OpenAIs GPT-3-Modell basiert arbeitet. Metas Software generiert also relativ genau diverse Textstücke auf Basis von User-Eingaben.

"Ich habe es übersetzen und Gedichte verfassen, Witze und Unterhaltungen generieren und Code schreiben lassen", schreibt User MacsHeadroom auf dem Portal Hacker News. Er verwendet die 65B-Variante mit vollen 65 Milliarden Parametern und 8 Bit Quantisierung. In der Cloud bei Vast.ai kostet das 1,5 US-Dollar pro Stunde.

Gute Ergebnisse von Meta

Die auf Github geteilte Version enthält alle Gewichtungen des Modells mit 7, 13, 30 und 65 Milliarden Parametern. Heruntergeladen wird es von einem Ubuntu-Server in Chicago. Es nimmt zudem 219 Gigabyte an Daten auf dem Hostsystem ein.

Aktuell testet die Community noch Gewichtungen und Temperatureinstellungen aus. "Ich musste beides ziemlich hoch ansetzen, um die besten Ergebnisse zu bekommen", schreibt MacsHeadroom. Der Tester Shawn Pesser hat auf Twitter zudem eigene Ergebnisse geteilt. Unter anderem hat die KI einen Aufsatz zum Thema Relativitätstheorie verfasst.

Obwohl das wahrscheinlich nicht so geplant war, könnte Meta die bisherige Community-Arbeit möglicherweise gutheißen. "Wir freuen uns darauf, was die Community mit LlaMA lernen und irgendwann auch bauen kann", schreibt das Unternehmen im Ankündigungspost.

Eventuell wäre es eine sinnvolle Entscheidung, die Community auch offiziell in Tests mit einzubeziehen. Diesen Ansatz verfolgt beispielsweise Microsoft mit dem KI-gestützten Bing. Google lässt den eigenen Sprachgenerator Bard hingegen bisher nur intern testen.