KI: 175 Milliarden Parameter schützen nicht vor Vorurteilen

Das neue KI-Modell GPT-3 von OpenAI trifft Entscheidungen aus 175 Milliarden Parametern. Das Team gesteht Genauigkeit und Vorurteile ein.

Artikel veröffentlicht am ,
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen.
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen. (Bild: Pixabay.com/CC0 1.0)

Das Entwicklerteam von OpenAI arbeitet derzeit an GPT-3, dem Nachfolger des verbreiteten Sprachmodells GPT-2. Ein großer Unterschied ist die pure Menge an Daten, die dem Modell für die Erstellung von Sätzen und Wortgruppen zur Verfügung steht. 175 Milliarden Parameter entscheiden darüber, wie Worte gebildet werden. Das sind zehnmal mehr als die im Februar 2020 vorgestellte Grundlage für Turing-NLP von Microsoft. OpenAI beschreibt das neue Modell in einem wissenschaftlichen Dokument (PDF).

Stellenmarkt
  1. Informatiker / Anwendungsentwickler als IT-Projektmanager webbasierte Softwareentwicklung (m/w/d)
    BLUEEND AG, Wiesbaden
  2. Identitäts- und Berechtigungsmanager (m/w/d)
    W&W Informatik GmbH, Ludwigsburg
Detailsuche

GPT-3 soll dem Verhalten echter Menschen näherkommen, welche meist mit vergleichsweise wenigen Beispielen Sprachzusammenhänge herleiten können. Mit diesem Few-Shot-Ansatz haben wohl diverse Sprachmodelle noch Probleme und müssten deshalb lange feinjustiert werden. Das neue Programm soll allerdings wesentlich besser für diese Art von Anwendung - das spontane Antworten, Übersetzen und Bilden von Zusammenhängen - geeignet sein. Dabei hat das Forscherteam eine Beziehung zwischen der puren Masse an Grunddaten und der Genauigkeit festgestellt. Daher stammt der Ansatz, möglichst viele Parameter zu verwenden.

GPT-3 sei besonders gut darin, spontane Dreizahlenarithmetik durchzuführen oder passende Worte für Sachverhalte zu finden. Außerdem kann das Modell mittlerweile selbst Artikel schreiben, die laut dem Forscherteam kaum von Berichten zu unterscheiden sind, die von Menschen verfasst wurden. Allerdings gesteht das Team auch noch einige Probleme ein, die Möglicherweise durch Overfitting ausgelöst werden.

Vorurteile auch bei 175 Milliarden Parametern

Ein Problem besteht darin, ein vorurteilsfreies System zu schaffen. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul.

Golem Karrierewelt
  1. Adobe Premiere Pro Grundkurs: virtueller Zwei-Tage-Workshop
    26./27.09.2022, Virtuell
  2. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    13./14.09.2022, virtuell
Weitere IT-Trainings

Auch Religionen haben bevorzugte Assoziationen zueinander. Christentum wird etwa oft mit Worten wie ignorant, Gnade, Hinrichtung oder Ägypten zusammengebracht. Der Islam hängt für GPT-3 mit Begriffen wie Terrorismus, Fasten, Allah und Prophet zusammen. Das Judentum wird mit Rassisten, Semiten, Spiel oder am schlausten beschrieben.

Trotz der anerkannten Probleme hält das Forscherteam den Ansatz von GPT-3 für richtig, wenn es um zukünftige akkurate Sprachmodelle geht - mit möglichst vielen Daten als Grundlage.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Trollversteher 03. Jun 2020

Ich glaube, den Satz im Artikel hast Du nicht verstanden...

Trollversteher 03. Jun 2020

Das Problem ist vermutlich, dass bei den Eingangsdaten keine Unterscheidung zwischen...

Trollversteher 03. Jun 2020

Die Vorurteile der KI basieren aber nicht auf Statistiken, sondern auf Texten, die auf...



Aktuell auf der Startseite von Golem.de
Elon Musk und Manchester United
Der Meme-Lord braucht die Blutgrätsche

Wenn Musk twittert, zittern die Anleger und nun auch Fußball-Fans. Wie sich der Milliardär endgültig ins Abseits bewegt und wie die Öffentlichkeit damit umgehen sollte.
Ein IMHO von Lennart Mühlenmeier

Elon Musk und Manchester United: Der Meme-Lord braucht die Blutgrätsche
Artikel
  1. Wheelhome Vikenze III-e: Winziges elektrisches Wohnmobil mit Solardach
    Wheelhome Vikenze III-e
    Winziges elektrisches Wohnmobil mit Solardach

    Wheelhome hat mit dem Vikenze III-e ein elektrisches Wohnmobil für ein bis zwei Personen vorgestellt, das sich selbst dank Solarzellen mit Strom versorgt.

  2. Urteil: Tesla darf den Autopilot weiterhin so nennen
    Urteil
    Tesla darf den Autopilot weiterhin so nennen

    Das Assistenzsystem-Paket von Tesla darf weiterhin als Autopilot bezeichnet werden. Der Versuch, dies Tesla zu verbieten, blieb vor Gericht erfolglos.

  3. Post-Quanten-Kryptografie: Die neuen Kryptoalgorithmen gegen Quantencomputer
    Post-Quanten-Kryptografie
    Die neuen Kryptoalgorithmen gegen Quantencomputer

    Die US-Behörde NIST standardisiert neue Public-Key-Algorithmen - um vor zukünftigen Quantencomputern sicher zu sein.
    Eine Analyse von Hanno Böck

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bestellbar bei Amazon & Co. • MSI Geburtstags-Rabatte • Neuer Saturn-Flyer • Game of Thrones reduziert • MindStar (MSI RTX 3070 599€) • Günstig wie nie: MSI 32" WHD 175 Hz 549€, Zotac RTX 3080 12GB 829€, Samsung SSD 1TB/2TB (PS5) 111€/199,99€ • Bester 2.000€-Gaming-PC[Werbung]
    •  /