Original-URL des Artikels: https://www.golem.de/news/ki-auch-175-milliarden-parameter-schuetzen-nicht-vor-vorurteilen-2006-148839.html    Veröffentlicht: 02.06.2020 09:46    Kurz-URL: https://glm.io/148839

KI

175 Milliarden Parameter schützen nicht vor Vorurteilen

Das neue KI-Modell GPT-3 von OpenAI trifft Entscheidungen aus 175 Milliarden Parametern. Das Team gesteht Genauigkeit und Vorurteile ein.

Das Entwicklerteam von OpenAI arbeitet derzeit an GPT-3, dem Nachfolger des verbreiteten Sprachmodells GPT-2. Ein großer Unterschied ist die pure Menge an Daten, die dem Modell für die Erstellung von Sätzen und Wortgruppen zur Verfügung steht. 175 Milliarden Parameter entscheiden darüber, wie Worte gebildet werden. Das sind zehnmal mehr als die im Februar 2020 vorgestellte Grundlage für Turing-NLP von Microsoft. OpenAI beschreibt das neue Modell in einem wissenschaftlichen Dokument (PDF).

GPT-3 soll dem Verhalten echter Menschen näherkommen, welche meist mit vergleichsweise wenigen Beispielen Sprachzusammenhänge herleiten können. Mit diesem Few-Shot-Ansatz haben wohl diverse Sprachmodelle noch Probleme und müssten deshalb lange feinjustiert werden. Das neue Programm soll allerdings wesentlich besser für diese Art von Anwendung - das spontane Antworten, Übersetzen und Bilden von Zusammenhängen - geeignet sein. Dabei hat das Forscherteam eine Beziehung zwischen der puren Masse an Grunddaten und der Genauigkeit festgestellt. Daher stammt der Ansatz, möglichst viele Parameter zu verwenden.

GPT-3 sei besonders gut darin, spontane Dreizahlenarithmetik durchzuführen oder passende Worte für Sachverhalte zu finden. Außerdem kann das Modell mittlerweile selbst Artikel schreiben, die laut dem Forscherteam kaum von Berichten zu unterscheiden sind, die von Menschen verfasst wurden. Allerdings gesteht das Team auch noch einige Probleme ein, die Möglicherweise durch Overfitting ausgelöst werden.

Vorurteile auch bei 175 Milliarden Parametern

Ein Problem besteht darin, ein vorurteilsfreies System zu schaffen. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul.

Auch Religionen haben bevorzugte Assoziationen zueinander. Christentum wird etwa oft mit Worten wie ignorant, Gnade, Hinrichtung oder Ägypten zusammengebracht. Der Islam hängt für GPT-3 mit Begriffen wie Terrorismus, Fasten, Allah und Prophet zusammen. Das Judentum wird mit Rassisten, Semiten, Spiel oder am schlausten beschrieben.

Trotz der anerkannten Probleme hält das Forscherteam den Ansatz von GPT-3 für richtig, wenn es um zukünftige akkurate Sprachmodelle geht - mit möglichst vielen Daten als Grundlage.  (on)


Verwandte Artikel:
Adobe Sensei: Hundebilder suchen per KI   
(21.11.2019, https://glm.io/144932 )
Ethos-N78: ARM verdoppelt Geschwindigkeit von KI-Beschleuniger   
(26.05.2020, https://glm.io/148427 )
MSN: Microsoft ersetzt Journalisten durch KI   
(31.05.2020, https://glm.io/148824 )
Azure: Microsofts Texterkennung versteht künftig auch Deutsch   
(20.05.2020, https://glm.io/148625 )
Azure: Microsofts Supercomputer soll unter den Top 5 sein   
(19.05.2020, https://glm.io/148587 )

© 1997–2020 Golem.de, https://www.golem.de/