Google Pathways: Sprachmodell mit Multi-Task-KI erreicht menschliche Leistung

Viel hilft viel, gilt oft in der Forschung zur KI-Sprachverarbeitung. Google kombiniert das mit einem neuen Ansatz zum Multitasking.

Artikel veröffentlicht am ,
Das Palm-Sprachmodell von Google ist das bisher größte seiner Art.
Das Palm-Sprachmodell von Google ist das bisher größte seiner Art. (Bild: David McNew/Getty Images)

Die KI-Forscher von Google haben das wohl bisher größte Modell zur Sprachverarbeitung und Erzeugung erstellt, wie das Team in seinem Blog mitteilt. Der Ankündigung zufolge hat das Pathways Language Model (Palm) 540 Milliarden Parameter und damit mehr als das Megatron-Turing Natural Language Generation Model (MT-NLG), das in Kooperation von Microsoft und Nvidia entstanden ist. In ausgesuchten Benchmarks soll Palm außerdem mit Menschen vergleichbare Leistungen erzielen.

Stellenmarkt
  1. IT-Administration / Systemadministration für Einrichtung / Betrieb / kontinuierliche Wartung ... (m/w/d)
    reflact AG, Oberhausen
  2. Frontend Entwickler (m/w/d)
    Alsterspree Verlag GmbH, Berlin
Detailsuche

Das Google-Schwesterunternehmen Deepmind forscht schon länger an den Fähigkeiten derart riesiger Modelle und hat zuvor bereits mit Gopher ein Sprachmodell erstellt, das etwa 280 Milliarden Parameter umfasst. Daraus zogen die Forscher aber bereits den Schluss, dass ein Skalieren der Parameter allein nicht zwingend zum Erfolg führt.

Wohl auch deshalb setzt Google für Palm auf die Kombination eines riesigen Modells mit weiteren Kniffen. Konkret handelt es sich dabei um eine neue Art von System, das KI-Technik und eine Art Multitasking beherrschen soll. Diesen von Google als Pathways bezeichneten Ansatz haben die Forscher nun erstmals auf ein Sprachmodell adaptiert. In der dazugehörigen wissenschaftlichen Ausarbeitung, die 67 Autoren zählt, beschreibt das Team sein Vorgehen näher.

Zum Training des Modells hat Google eigenen Angaben zufolge 6.144 TPU-v4-Chips verwendet, was ebenfalls ein neuer Rekord sein dürfte. So standen dem Training von Gopher maximal 4.096 TPU v3 zur Verfügung und MT-NLG 2.240 A100 von Nvidia. Laut der Ankündigung hat das Team beim Training des Modells außerdem rund 58 Prozent der theoretisch maximal möglichen Flops erreicht, was die bisher höchste Auslastung für ein Sprachmodell sein soll.

Beste Fähigkeiten in fast allen Tests

Golem Karrierewelt
  1. Kubernetes – das Container Orchestration Framework: virtueller Vier-Tage-Workshop
    11.-14.07.2022, Virtuell
  2. Kubernetes Dive-in-Workshop: virtueller Drei-Tage-Workshop
    19.-21.07.2022, Virtuell
Weitere IT-Trainings

Laut Google soll Palm aber nicht nur in Bezug auf quantitative Werte das bisher am weitesten fortgeschrittene Sprachmodell sein, auch in den üblichen Tests zur Auswertung der Sprachmodelle soll Palm fast vollständig allen anderen bisherigen Systemen überlegen sein.

In 28 von 29 Tests habe Palm besser abgeschnitten als seine Konkurrenz. Die Tests umfassen dabei einfache Frage-Antwort-Tests, Lückentexttests, Satzvervollständigungen, Winograd-Tests, Tests zum Leseverstehen, Aufgaben zum logischen Denken, Superglue-Tests sowie Tests zum Schlüsse-ziehen aus natürlicher Sprache. Zusätzlich zu diesen einsprachigen Tests liefere Palm aber auch eine "starke Leistung" für Übersetzungsaufgaben.

Mit dem von Google selbst erstellen Big-Benchmark erreiche Palm außerdem schon beim Lernen mit vergleichsweise wenig Information (5-Shot) eine Leistung, die an den Durchschnitt menschlicher Ergebnisse für diese Tests heranreichten.

Hohe Rabatte bei den Amazon Blitzangeboten

In einzelnen Tests liege die Leistung auf dem Niveau des Sprachverständnisses von 9- bis 12-Jährigen, so Google. Dieses Alter wird üblicherweise als Spätphase des Erstspracherwerbs angenommen, so dass das Modell bereits Fähigkeiten besitzen dürfte, die mit Muttersprachlern vergleichbar sein sollten. Das wäre ein enormer Durchbruch in der KI- und Sprachforschung.

Das Team weist darüber hinaus darauf hin, dass die Leistungssteigerungen durch das Skalieren noch kein Plateau erreicht hätten. Auch der Pathways-Ansatz wird dabei als voller Erfolg angesehen. Ziel und Vision des Teams sei es dabei, ein einheitliches KI-System zu erstellen, das über Millionen von Aufgaben generalisiert werden könnte.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


kaesekuchen 07. Apr 2022 / Themenstart

Vorneweg, ich hab keinerlei Ahnung von KI. Ich erlaube mir trotzdem eine Antwort: Nach...

Kommentieren



Aktuell auf der Startseite von Golem.de
Optibike
E-Bike mit 480 km Reichweite kostet 17.000 Euro

Das E-Bike Optibike R22 Everest setzt mit seinen zwei Akkus auf Reichweite.

Optibike: E-Bike mit 480 km Reichweite kostet 17.000 Euro
Artikel
  1. Krypto-Kriminalität: Behörden fahnden nach Onecoin-Betrügerin
    Krypto-Kriminalität
    Behörden fahnden nach Onecoin-Betrügerin

    Deutsche und internationale Behörden suchen nach den Hintermännern und -frauen von Onecoin. Der Schaden durch Betrug mit der vermeintlichen Kryptowährung geht in die Milliarden.

  2. Hassrede: Bayern will soziale Netzwerke bestrafen
    Hassrede
    Bayern will soziale Netzwerke bestrafen

    Der bayrische Justizminister fordert, bei der Verbreitung von Hassrede auch die Betreiber von sozialen Medien stärker zur Verantwortung zu ziehen.

  3. Prehistoric Planet: Danke, Apple, für so grandiose Dinosaurier!
    Prehistoric Planet
    Danke, Apple, für so grandiose Dinosaurier!

    Musik von Hans Zimmer, dazu David Attenborough als Sprecher: Apples Prehistoric Planet hat einen Kindheitstraum zum Leben erweckt.
    Ein IMHO von Marc Sauter

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung 870 QVO 1 TB 79€ • Prime Video: Filme leihen für 0,99€ • Alternate (u. a. Recaro Rae Essential 429€) • Gigabyte RTX 3080 12 GB ab 1.024€ • Mindstar (u. a. AMD Ryzen 5 5600 179€, Palit RTX 3070 GamingPro 669€) • SanDisk Ultra microSDXC 256 GB ab 14,99€ • Sackboy 19,99€ [Werbung]
    •  /