Palm 2: Googles Sprachmodell wird kleiner und trotzdem besser

Google I/O 2023 Die Grundlage für Googles Bard unterstützt mehr als 100 Sprachen und kann Programmieren. Die Ersteller warnen aber vor einem direkten Einsatz.

Artikel veröffentlicht am 11. Mai 2023, 9:33 Uhr, Sebastian Grüner

Google hat Palm 2 veröffentlicht. (Bild: Pixabay)

Das KI-Forschungsteam von Google hat die zweite Version seines großen Sprachmodells Palm veröffentlicht. Palm 2 wurde laut Angaben von Google mithilfe von Texte trainiert, die zusammen mehr als 100 Sprachen umfassen. Das soll es etwa ermöglichen, bessere Übersetzungen zu liefern. In eigenen Tests schneidet Palm 2 dabei sogar besser ab als das Produktivsystem von Google Translate.

Das Modell soll auch Nuancen wie Redewendungen, Denkaufgaben oder Gedichte beherrschen. Palm 2 sei deshalb auch in der Lage, einige aktuelle, gehobene Spracheignungstest zu bestehen. Google führt in der kurzen wissenschaftlichen Beschreibung (PDF) von Palm etwa Chinesisch, Japanisch, Italienisch, Französisch, Spanisch und Deutsch auf muttersprachlichem Niveau auf.

Darüber hinaus schreibt das KI-Forschungsteam, dass Palm 2 in der Lage dazu sei, zu schlussfolgern und zu argumentieren. Dazu könne Palm 2 etwa Aufgaben in kleinere Abfolgen unterteilen. In Tests mit üblichen Benchmarks erreiche Palm 2 hier sogar ähnliche Werte wie GPT-4, so Google. Ähnliches gelte außerdem für das Verständnis von mathematischen Aufgaben sowie deren Lösungen. Palm 2 liefere hier "bedeutende" Fortschritte im Vergleich zur ersten Version und Google gibt sich sicher, auch in dieser Kategorie an GPT-4 von Konkurrent OpenAI herantreten zu können.

Auch die Programmierkünste von Palm will Google mit der aktuellen Version gesteigert haben. Wichtig ist dies, weil Programmier-KIs laut Google "zu den wirtschaftlich bedeutendsten und am weitesten verbreiteten" Sprachmodellen gehören. Bei dem Coding-Modell handelt es sich um eine speziell angepasste kleinere Variante von Palm 2. Auch das größte Modell der Palm-2-Familie sei "deutlich" kleiner als der Vorgänger, die besseren Ergebnisse werden dabei durch ein längeres Training erreicht. Palm 1 nutzte 540 Milliarden Parameter. Konkrete Details zur Größe von Palm 2 nannte Google nicht.

Ehrliche Evaluierung mit trüben Aussichten

Das Unternehmen hält sich ebenso mit Informationen zurück, die die Auswahl der Trainingsdaten oder auch Filter, Toxizität und mögliche modellinhärente Vorurteile betreffen. Eingeräumt wird jedoch, dass die Trainingsdaten weiterhin klar verzerren, was etwa die sexuelle Orientierung, das Geschlecht, Religion oder ethnische und staatliche Zugehörigkeit angehe. Darüber hinaus sei die Evaluierung der Daten automatisiert geschehen, was Fehler mit sich bringen könnte.

Letztlich warnte Google selbst vor einem Einsatz von Bard. In der Model-Card heißt es: "Palm 2 sollte nicht als Teil eines Allzweckdienstes oder -produkts zur Verfügung gestellt oder in einer spezifischen nachgelagerten Anwendung verwendet werden, ohne dass zuvor die für die nachgelagerte Anwendung spezifischen Sicherheits- und Fairnessbedenken bewertet und entschärft wurden."