KI: 175 Milliarden Parameter schützen nicht vor Vorurteilen

Das neue KI-Modell GPT-3 von OpenAI trifft Entscheidungen aus 175 Milliarden Parametern. Das Team gesteht Genauigkeit und Vorurteile ein.

Artikel veröffentlicht am ,
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen.
Hautfarben, Geschlechter und Herkunft sollten bei KI keine Rolle spielen. (Bild: Pixabay.com/CC0 1.0)

Das Entwicklerteam von OpenAI arbeitet derzeit an GPT-3, dem Nachfolger des verbreiteten Sprachmodells GPT-2. Ein großer Unterschied ist die pure Menge an Daten, die dem Modell für die Erstellung von Sätzen und Wortgruppen zur Verfügung steht. 175 Milliarden Parameter entscheiden darüber, wie Worte gebildet werden. Das sind zehnmal mehr als die im Februar 2020 vorgestellte Grundlage für Turing-NLP von Microsoft. OpenAI beschreibt das neue Modell in einem wissenschaftlichen Dokument (PDF).

Stellenmarkt
  1. Data Science Engineer (Data & Analytics Lab) (m/w/d)
    ALDI International Services GmbH & Co. oHG, Mülheim an der Ruhr
  2. IT-Systemadministrator (m/w/d)
    Verwaltungsgesellschaft der Akademie zur Förderung der Kommunikation mbH, Stuttgart
Detailsuche

GPT-3 soll dem Verhalten echter Menschen näherkommen, welche meist mit vergleichsweise wenigen Beispielen Sprachzusammenhänge herleiten können. Mit diesem Few-Shot-Ansatz haben wohl diverse Sprachmodelle noch Probleme und müssten deshalb lange feinjustiert werden. Das neue Programm soll allerdings wesentlich besser für diese Art von Anwendung - das spontane Antworten, Übersetzen und Bilden von Zusammenhängen - geeignet sein. Dabei hat das Forscherteam eine Beziehung zwischen der puren Masse an Grunddaten und der Genauigkeit festgestellt. Daher stammt der Ansatz, möglichst viele Parameter zu verwenden.

GPT-3 sei besonders gut darin, spontane Dreizahlenarithmetik durchzuführen oder passende Worte für Sachverhalte zu finden. Außerdem kann das Modell mittlerweile selbst Artikel schreiben, die laut dem Forscherteam kaum von Berichten zu unterscheiden sind, die von Menschen verfasst wurden. Allerdings gesteht das Team auch noch einige Probleme ein, die Möglicherweise durch Overfitting ausgelöst werden.

Vorurteile auch bei 175 Milliarden Parametern

Ein Problem besteht darin, ein vorurteilsfreies System zu schaffen. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul.

Golem Akademie
  1. Docker & Containers - From Zero to Hero
    27.-29. Oktober 2021, online
  2. Elastic Stack Fundamentals - Elasticsearch, Logstash, Kibana, Beats
    26.-28. Oktober 2021, online
  3. Python kompakt - Einführung für Softwareentwickler
    28.-29. Oktober 2021, online
Weitere IT-Trainings

Auch Religionen haben bevorzugte Assoziationen zueinander. Christentum wird etwa oft mit Worten wie ignorant, Gnade, Hinrichtung oder Ägypten zusammengebracht. Der Islam hängt für GPT-3 mit Begriffen wie Terrorismus, Fasten, Allah und Prophet zusammen. Das Judentum wird mit Rassisten, Semiten, Spiel oder am schlausten beschrieben.

Trotz der anerkannten Probleme hält das Forscherteam den Ansatz von GPT-3 für richtig, wenn es um zukünftige akkurate Sprachmodelle geht - mit möglichst vielen Daten als Grundlage.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Trollversteher 03. Jun 2020

Ich glaube, den Satz im Artikel hast Du nicht verstanden...

Trollversteher 03. Jun 2020

Das Problem ist vermutlich, dass bei den Eingangsdaten keine Unterscheidung zwischen...

Trollversteher 03. Jun 2020

Die Vorurteile der KI basieren aber nicht auf Statistiken, sondern auf Texten, die auf...

Trollversteher 03. Jun 2020

Sie hat die Vorurteile aus den Daten uebernommen, also bleiben es Vorurteile. Der Mensch...

on(Golem.de) 02. Jun 2020

Hallo, Overfitting ist ein interessantes Phänomen, das anscheinend hier vorliegt. Ich...



Aktuell auf der Startseite von Golem.de
600 Millionen Euro
Bundeswehr lässt Funkgeräte von 1982 nachbauen

Das SEM 80/90 mit 16 KBit/s wird exakt nachgebaut, zum Stückpreis von rund 20.000 Euro. Das Retrogerät geht für die Bundeswehr in Serie.

600 Millionen Euro: Bundeswehr lässt Funkgeräte von 1982 nachbauen
Artikel
  1. Foundation bei Apple TV+: Die unverfilmbare Asimov-Trilogie grandios verfilmt
    Foundation bei Apple TV+
    Die unverfilmbare Asimov-Trilogie grandios verfilmt

    Gegen die Welt von Asimovs Foundation-Trilogie wirkt Game of Thrones überschaubar. Apple hat mit einem enormen Budget eine enorme Science-Fiction-Serie geschaffen.
    Eine Rezension von Peter Osteried

  2. Pakete: DHL-Preiserhöhung könnte Amazon Prime verteuern
    Pakete
    DHL-Preiserhöhung könnte Amazon Prime verteuern

    DHL Paket erhöht die Preise für Geschäftskunden. Das könnte Auswirkungen auf den Preis von Amazon Prime haben.

  3. Security: Forscher veröffentlicht iOS-Lücken aus Ärger über Apple
    Security
    Forscher veröffentlicht iOS-Lücken aus Ärger über Apple

    Das Bug-Bounty-Programm von Apple ist vielfach kritisiert worden. Ein Forscher veröffentlicht seine Lücken deshalb nun ohne Patch.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung G7 31,5" WQHD 240Hz 499€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • Samsung SSD 980 Pro 1TB 150,50€ • Dualsense-Ladestation 35,99€ • iPhone 13 erschienen ab 799€ • Sega Discovery Sale bei GP (u. a. Yakuza 0 4,50€) [Werbung]
    •  /