Google Pathways: Sprachmodell mit Multi-Task-KI erreicht menschliche Leistung

Viel hilft viel, gilt oft in der Forschung zur KI-Sprachverarbeitung. Google kombiniert das mit einem neuen Ansatz zum Multitasking.

Artikel veröffentlicht am 6. April 2022, 12:50 Uhr, Sebastian Grüner

Das Palm-Sprachmodell von Google ist das bisher größte seiner Art. (Bild: David McNew/Getty Images)

Die KI-Forscher von Google haben das wohl bisher größte Modell zur Sprachverarbeitung und Erzeugung erstellt, wie das Team in seinem Blog mitteilt. Der Ankündigung zufolge hat das Pathways Language Model (Palm) 540 Milliarden Parameter und damit mehr als das Megatron-Turing Natural Language Generation Model (MT-NLG), das in Kooperation von Microsoft und Nvidia entstanden ist. In ausgesuchten Benchmarks soll Palm außerdem mit Menschen vergleichbare Leistungen erzielen.

Das Google-Schwesterunternehmen Deepmind forscht schon länger an den Fähigkeiten derart riesiger Modelle und hat zuvor bereits mit Gopher ein Sprachmodell erstellt, das etwa 280 Milliarden Parameter umfasst. Daraus zogen die Forscher aber bereits den Schluss, dass ein Skalieren der Parameter allein nicht zwingend zum Erfolg führt.

Wohl auch deshalb setzt Google für Palm auf die Kombination eines riesigen Modells mit weiteren Kniffen. Konkret handelt es sich dabei um eine neue Art von System, das KI-Technik und eine Art Multitasking beherrschen soll. Diesen von Google als Pathways bezeichneten Ansatz haben die Forscher nun erstmals auf ein Sprachmodell adaptiert. In der dazugehörigen wissenschaftlichen Ausarbeitung, die 67 Autoren zählt, beschreibt das Team sein Vorgehen näher.

Zum Training des Modells hat Google eigenen Angaben zufolge 6.144 TPU-v4-Chips verwendet, was ebenfalls ein neuer Rekord sein dürfte. So standen dem Training von Gopher maximal 4.096 TPU v3 zur Verfügung und MT-NLG 2.240 A100 von Nvidia. Laut der Ankündigung hat das Team beim Training des Modells außerdem rund 58 Prozent der theoretisch maximal möglichen Flops erreicht, was die bisher höchste Auslastung für ein Sprachmodell sein soll.

Beste Fähigkeiten in fast allen Tests

Laut Google soll Palm aber nicht nur in Bezug auf quantitative Werte das bisher am weitesten fortgeschrittene Sprachmodell sein, auch in den üblichen Tests zur Auswertung der Sprachmodelle soll Palm fast vollständig allen anderen bisherigen Systemen überlegen sein.

In 28 von 29 Tests habe Palm besser abgeschnitten als seine Konkurrenz. Die Tests umfassen dabei einfache Frage-Antwort-Tests, Lückentexttests, Satzvervollständigungen, Winograd-Tests, Tests zum Leseverstehen, Aufgaben zum logischen Denken, Superglue-Tests sowie Tests zum Schlüsse-ziehen aus natürlicher Sprache. Zusätzlich zu diesen einsprachigen Tests liefere Palm aber auch eine "starke Leistung" für Übersetzungsaufgaben.

Mit dem von Google selbst erstellen Big-Benchmark erreiche Palm außerdem schon beim Lernen mit vergleichsweise wenig Information (5-Shot) eine Leistung, die an den Durchschnitt menschlicher Ergebnisse für diese Tests heranreichten.

In einzelnen Tests liege die Leistung auf dem Niveau des Sprachverständnisses von 9- bis 12-Jährigen, so Google. Dieses Alter wird üblicherweise als Spätphase des Erstspracherwerbs angenommen, so dass das Modell bereits Fähigkeiten besitzen dürfte, die mit Muttersprachlern vergleichbar sein sollten. Das wäre ein enormer Durchbruch in der KI- und Sprachforschung.

Das Team weist darüber hinaus darauf hin, dass die Leistungssteigerungen durch das Skalieren noch kein Plateau erreicht hätten. Auch der Pathways-Ansatz wird dabei als voller Erfolg angesehen. Ziel und Vision des Teams sei es dabei, ein einheitliches KI-System zu erstellen, das über Millionen von Aufgaben generalisiert werden könnte.