Google Pathways: Sprachmodell mit Multi-Task-KI erreicht menschliche Leistung

Viel hilft viel, gilt oft in der Forschung zur KI-Sprachverarbeitung. Google kombiniert das mit einem neuen Ansatz zum Multitasking.

Artikel veröffentlicht am ,
Das Palm-Sprachmodell von Google ist das bisher größte seiner Art.
Das Palm-Sprachmodell von Google ist das bisher größte seiner Art. (Bild: David McNew/Getty Images)

Die KI-Forscher von Google haben das wohl bisher größte Modell zur Sprachverarbeitung und Erzeugung erstellt, wie das Team in seinem Blog mitteilt. Der Ankündigung zufolge hat das Pathways Language Model (Palm) 540 Milliarden Parameter und damit mehr als das Megatron-Turing Natural Language Generation Model (MT-NLG), das in Kooperation von Microsoft und Nvidia entstanden ist. In ausgesuchten Benchmarks soll Palm außerdem mit Menschen vergleichbare Leistungen erzielen.

Stellenmarkt
  1. Data Steward / Master Data Manager (m/w/d)
    ZIEHL-ABEGG SE, Künzelsau
  2. Software Architect* Industrial Internet of Things Platform
    BAADER, Lübeck, Hamburg, Home-Office
Detailsuche

Das Google-Schwesterunternehmen Deepmind forscht schon länger an den Fähigkeiten derart riesiger Modelle und hat zuvor bereits mit Gopher ein Sprachmodell erstellt, das etwa 280 Milliarden Parameter umfasst. Daraus zogen die Forscher aber bereits den Schluss, dass ein Skalieren der Parameter allein nicht zwingend zum Erfolg führt.

Wohl auch deshalb setzt Google für Palm auf die Kombination eines riesigen Modells mit weiteren Kniffen. Konkret handelt es sich dabei um eine neue Art von System, das KI-Technik und eine Art Multitasking beherrschen soll. Diesen von Google als Pathways bezeichneten Ansatz haben die Forscher nun erstmals auf ein Sprachmodell adaptiert. In der dazugehörigen wissenschaftlichen Ausarbeitung, die 67 Autoren zählt, beschreibt das Team sein Vorgehen näher.

Zum Training des Modells hat Google eigenen Angaben zufolge 6.144 TPU-v4-Chips verwendet, was ebenfalls ein neuer Rekord sein dürfte. So standen dem Training von Gopher maximal 4.096 TPU v3 zur Verfügung und MT-NLG 2.240 A100 von Nvidia. Laut der Ankündigung hat das Team beim Training des Modells außerdem rund 58 Prozent der theoretisch maximal möglichen Flops erreicht, was die bisher höchste Auslastung für ein Sprachmodell sein soll.

Beste Fähigkeiten in fast allen Tests

Golem Karrierewelt
  1. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    05.-09.09.2022, virtuell
  2. Informationssicherheit in der Automobilindustrie nach VDA-ISA und TISAX® mit Zertifikat: Zwei-Tage-Workshop
    22./23.11.2022, Virtuell
Weitere IT-Trainings

Laut Google soll Palm aber nicht nur in Bezug auf quantitative Werte das bisher am weitesten fortgeschrittene Sprachmodell sein, auch in den üblichen Tests zur Auswertung der Sprachmodelle soll Palm fast vollständig allen anderen bisherigen Systemen überlegen sein.

In 28 von 29 Tests habe Palm besser abgeschnitten als seine Konkurrenz. Die Tests umfassen dabei einfache Frage-Antwort-Tests, Lückentexttests, Satzvervollständigungen, Winograd-Tests, Tests zum Leseverstehen, Aufgaben zum logischen Denken, Superglue-Tests sowie Tests zum Schlüsse-ziehen aus natürlicher Sprache. Zusätzlich zu diesen einsprachigen Tests liefere Palm aber auch eine "starke Leistung" für Übersetzungsaufgaben.

Mit dem von Google selbst erstellen Big-Benchmark erreiche Palm außerdem schon beim Lernen mit vergleichsweise wenig Information (5-Shot) eine Leistung, die an den Durchschnitt menschlicher Ergebnisse für diese Tests heranreichten.

Hohe Rabatte bei den Amazon Blitzangeboten

In einzelnen Tests liege die Leistung auf dem Niveau des Sprachverständnisses von 9- bis 12-Jährigen, so Google. Dieses Alter wird üblicherweise als Spätphase des Erstspracherwerbs angenommen, so dass das Modell bereits Fähigkeiten besitzen dürfte, die mit Muttersprachlern vergleichbar sein sollten. Das wäre ein enormer Durchbruch in der KI- und Sprachforschung.

Das Team weist darüber hinaus darauf hin, dass die Leistungssteigerungen durch das Skalieren noch kein Plateau erreicht hätten. Auch der Pathways-Ansatz wird dabei als voller Erfolg angesehen. Ziel und Vision des Teams sei es dabei, ein einheitliches KI-System zu erstellen, das über Millionen von Aufgaben generalisiert werden könnte.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Maps
Google bringt kraftstoffsparende Routen nach Deutschland

In Nordamerika verwendetet Google bereits kraftstoffsparende Routen - die Funktion wurde für den deutschen Markt angepasst.

Maps: Google bringt kraftstoffsparende Routen nach Deutschland
Artikel
  1. Dopamine für Windows 10: Ein Musikplayer, wie er sein sollte
    Dopamine für Windows 10
    Ein Musikplayer, wie er sein sollte

    Helferlein Dopamine ist ein minimalistischer MP3-Player unter Windows, vertrieben als Open Source, der auch vor großen Sammlungen nicht zurückschreckt.
    Von Kristof Zerbe

  2. Antimaterie: Antiprotonen in supraflüssigem Helium gefangen
    Antimaterie
    Antiprotonen in supraflüssigem Helium gefangen

    Forscher haben Antiprotonen in supraflüssigem Helium eingefangen und spektroskopisch untersucht. Das ermöglicht neue Untersuchungen an exotischen Atomen.
    Ein Bericht von Dirk Eidemüller

  3. Streaming: Vorerst keine Preiserhöhung von Disney+ in Deutschland
    Streaming
    Vorerst keine Preiserhöhung von Disney+ in Deutschland

    Disney verzeichnet ein starkes Wachstum bei seinen Streaming-Diensten - eine geplante Preiserhöhung betrifft aber vorerst nur die USA.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Neuer MM-Flyer • MindStar (Gigabyte RTX 3070 Ti 699€, XFX RX 6950 XT 999€) • ebay Re-Store -50% • AVM Fritz-Box günstig wie nie • Hisense TVs günstiger • Top-SSDs 1TB/2TB (PS5) zu Hammerpreisen • MSI-Sale: Gaming-Laptops/PCs bis -30% • Der beste Gaming-PC für 2.000€ [Werbung]
    •  /