KI: 175 Milliarden Parameter schützen nicht vor Vorurteilen

Das neue KI-Modell GPT-3 von OpenAI trifft Entscheidungen aus 175 Milliarden Parametern. Das Team gesteht Genauigkeit und Vorurteile ein.

Artikel veröffentlicht am ,
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen.
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen. (Bild: Pixabay.com/CC0 1.0)

Das Entwicklerteam von OpenAI arbeitet derzeit an GPT-3, dem Nachfolger des verbreiteten Sprachmodells GPT-2. Ein großer Unterschied ist die pure Menge an Daten, die dem Modell für die Erstellung von Sätzen und Wortgruppen zur Verfügung steht. 175 Milliarden Parameter entscheiden darüber, wie Worte gebildet werden. Das sind zehnmal mehr als die im Februar 2020 vorgestellte Grundlage für Turing-NLP von Microsoft. OpenAI beschreibt das neue Modell in einem wissenschaftlichen Dokument (PDF).

Stellenmarkt
  1. IT-Systembetreuer (m/w/d)
    Erzbistum Paderborn, Paderborn
  2. (Junior) Consultant (m/w/d) im Bereich HR
    Binder Consulting Unternehmensberatung GmbH, München, Frankfurt
Detailsuche

GPT-3 soll dem Verhalten echter Menschen näherkommen, welche meist mit vergleichsweise wenigen Beispielen Sprachzusammenhänge herleiten können. Mit diesem Few-Shot-Ansatz haben wohl diverse Sprachmodelle noch Probleme und müssten deshalb lange feinjustiert werden. Das neue Programm soll allerdings wesentlich besser für diese Art von Anwendung - das spontane Antworten, Übersetzen und Bilden von Zusammenhängen - geeignet sein. Dabei hat das Forscherteam eine Beziehung zwischen der puren Masse an Grunddaten und der Genauigkeit festgestellt. Daher stammt der Ansatz, möglichst viele Parameter zu verwenden.

GPT-3 sei besonders gut darin, spontane Dreizahlenarithmetik durchzuführen oder passende Worte für Sachverhalte zu finden. Außerdem kann das Modell mittlerweile selbst Artikel schreiben, die laut dem Forscherteam kaum von Berichten zu unterscheiden sind, die von Menschen verfasst wurden. Allerdings gesteht das Team auch noch einige Probleme ein, die Möglicherweise durch Overfitting ausgelöst werden.

Vorurteile auch bei 175 Milliarden Parametern

Ein Problem besteht darin, ein vorurteilsfreies System zu schaffen. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul.

Golem Akademie
  1. Terraform mit AWS
    14.-15. Dezember 2021, online
  2. Advanced Python - Fortgeschrittene Programmierthemen
    27.-28. Januar 2022, online
  3. Python kompakt - Einführung für Softwareentwickler
    28.-29. Oktober 2021, online
Weitere IT-Trainings

Auch Religionen haben bevorzugte Assoziationen zueinander. Christentum wird etwa oft mit Worten wie ignorant, Gnade, Hinrichtung oder Ägypten zusammengebracht. Der Islam hängt für GPT-3 mit Begriffen wie Terrorismus, Fasten, Allah und Prophet zusammen. Das Judentum wird mit Rassisten, Semiten, Spiel oder am schlausten beschrieben.

Trotz der anerkannten Probleme hält das Forscherteam den Ansatz von GPT-3 für richtig, wenn es um zukünftige akkurate Sprachmodelle geht - mit möglichst vielen Daten als Grundlage.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Trollversteher 03. Jun 2020

Ich glaube, den Satz im Artikel hast Du nicht verstanden...

Trollversteher 03. Jun 2020

Das Problem ist vermutlich, dass bei den Eingangsdaten keine Unterscheidung zwischen...

Trollversteher 03. Jun 2020

Die Vorurteile der KI basieren aber nicht auf Statistiken, sondern auf Texten, die auf...

Trollversteher 03. Jun 2020

Sie hat die Vorurteile aus den Daten uebernommen, also bleiben es Vorurteile. Der Mensch...

on(Golem.de) 02. Jun 2020

Hallo, Overfitting ist ein interessantes Phänomen, das anscheinend hier vorliegt. Ich...



Aktuell auf der Startseite von Golem.de
Gaming und Inklusion
Schnelles Tastendrücken heißt Game Over

Körperlich beeinträchtigte Menschen haben es nicht leicht in Games. Dabei wäre es möglich, Videospiele inklusiver zu machen. Das erkennt langsam auch die Industrie.
Ein Bericht von Denis Gießler

Gaming und Inklusion: Schnelles Tastendrücken heißt Game Over
Artikel
  1. Hongguang Mini: Billig-Elektroauto aus China bekommt mehr Reichweite
    Hongguang Mini
    Billig-Elektroauto aus China bekommt mehr Reichweite

    Das winzige Elektroauto Hongguang Mini wird mit einem neuen Akku und stärkerem Motor ausgerüstet. So soll eine Reichweite von 300 km ermöglicht werden.

  2. Google: Chrome testet Rust und sicheres C++
    Google
    Chrome testet Rust und sicheres C++

    Die Mehrheit der schweren Sicherheitslücken in Chrome wird durch Speicherfehler verursacht. Das Team sucht nun nach weitgehenden Lösungen.

  3. Automatische Umschaltung: iPhone 13 Pro hat Probleme mit seinem Makromodus
    Automatische Umschaltung
    iPhone 13 Pro hat Probleme mit seinem Makromodus

    Beim iPhone 13 Pro wird automatisch in den Makromodus geschaltet, wenn die Kamera einem Motiv nahe kommt. Das lässt sich nicht deaktivieren.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) • Samsung T7 Portable SSD 1TB 105,39€ • Thermaltake Level 20 RS ARGB Tower 99,90€ • Gran Turismo 7 25th Anniversary PS4/PS5 vorbestellbar 99,99€ • PS5 + Death Stranding bei Amazon zu gewinnen [Werbung]
    •  /