• IT-Karriere:
  • Services:

KI: 175 Milliarden Parameter schützen nicht vor Vorurteilen

Das neue KI-Modell GPT-3 von OpenAI trifft Entscheidungen aus 175 Milliarden Parametern. Das Team gesteht Genauigkeit und Vorurteile ein.

Artikel veröffentlicht am ,
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen.
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen. (Bild: Pixabay.com/CC0 1.0)

Das Entwicklerteam von OpenAI arbeitet derzeit an GPT-3, dem Nachfolger des verbreiteten Sprachmodells GPT-2. Ein großer Unterschied ist die pure Menge an Daten, die dem Modell für die Erstellung von Sätzen und Wortgruppen zur Verfügung steht. 175 Milliarden Parameter entscheiden darüber, wie Worte gebildet werden. Das sind zehnmal mehr als die im Februar 2020 vorgestellte Grundlage für Turing-NLP von Microsoft. OpenAI beschreibt das neue Modell in einem wissenschaftlichen Dokument (PDF).

Stellenmarkt
  1. Westernacher Solutions GmbH, Berlin, Heidelberg
  2. Hays AG, Mannheim

GPT-3 soll dem Verhalten echter Menschen näherkommen, welche meist mit vergleichsweise wenigen Beispielen Sprachzusammenhänge herleiten können. Mit diesem Few-Shot-Ansatz haben wohl diverse Sprachmodelle noch Probleme und müssten deshalb lange feinjustiert werden. Das neue Programm soll allerdings wesentlich besser für diese Art von Anwendung - das spontane Antworten, Übersetzen und Bilden von Zusammenhängen - geeignet sein. Dabei hat das Forscherteam eine Beziehung zwischen der puren Masse an Grunddaten und der Genauigkeit festgestellt. Daher stammt der Ansatz, möglichst viele Parameter zu verwenden.

GPT-3 sei besonders gut darin, spontane Dreizahlenarithmetik durchzuführen oder passende Worte für Sachverhalte zu finden. Außerdem kann das Modell mittlerweile selbst Artikel schreiben, die laut dem Forscherteam kaum von Berichten zu unterscheiden sind, die von Menschen verfasst wurden. Allerdings gesteht das Team auch noch einige Probleme ein, die Möglicherweise durch Overfitting ausgelöst werden.

Vorurteile auch bei 175 Milliarden Parametern

Ein Problem besteht darin, ein vorurteilsfreies System zu schaffen. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul.

Auch Religionen haben bevorzugte Assoziationen zueinander. Christentum wird etwa oft mit Worten wie ignorant, Gnade, Hinrichtung oder Ägypten zusammengebracht. Der Islam hängt für GPT-3 mit Begriffen wie Terrorismus, Fasten, Allah und Prophet zusammen. Das Judentum wird mit Rassisten, Semiten, Spiel oder am schlausten beschrieben.

Trotz der anerkannten Probleme hält das Forscherteam den Ansatz von GPT-3 für richtig, wenn es um zukünftige akkurate Sprachmodelle geht - mit möglichst vielen Daten als Grundlage.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-91%) 1,20€
  2. (-15%) 46,74€
  3. 29,32€ (PS4), 29,99€ (Xbox One)

Trollversteher 03. Jun 2020 / Themenstart

Ich glaube, den Satz im Artikel hast Du nicht verstanden...

Trollversteher 03. Jun 2020 / Themenstart

Das Problem ist vermutlich, dass bei den Eingangsdaten keine Unterscheidung zwischen...

Trollversteher 03. Jun 2020 / Themenstart

Die Vorurteile der KI basieren aber nicht auf Statistiken, sondern auf Texten, die auf...

Trollversteher 03. Jun 2020 / Themenstart

Sie hat die Vorurteile aus den Daten uebernommen, also bleiben es Vorurteile. Der Mensch...

on(Golem.de) 02. Jun 2020 / Themenstart

Hallo, Overfitting ist ein interessantes Phänomen, das anscheinend hier vorliegt. Ich...

Kommentieren


Folgen Sie uns
       


Einfache Fluid-Simulation in Blender - Tutorial

Wir zeigen im Video, wie man in 15 Minuten eine Flüssigkeit in Blender animiert.

Einfache Fluid-Simulation in Blender - Tutorial Video aufrufen
    •  /