Eine grobe Interpretation des Sprachmodells

In den ersten Ebenen - also den anfänglichen Iterationen des Aufmerksamkeitsmechanismus - wird der Eingabetext wohl zunächst in abstraktere Konzepte übersetzt. Jedes einzelne Wort wird dabei mit Bedeutungsinhalten aus dem Rest des Satzes aufgeladen. Die Konzepte werden dabei so abstrakt, dass sie sich in den noch unbekannten Teil des Textes extrapolieren lassen. So ist zum Beispiel klar, dass der Satz "Mein Haus wurde gelb ..." irgendetwas mit dem Konzept "umfärben" zu tun hat, auch wenn das konkrete Wort "gestrichen" noch fehlt (siehe Abbildung 5).

In den mittleren Ebenen wird diese Bedeutung gewissermaßen um ein Wort vorwärts verschoben. Aus dem Begriff "gelb" im Kontext von "ein Gebäude umfärben" wird also das Konzept "Umfärben" im Kontext von "ein gelbes Gebäude".

In den letzten Ebenen muss schließlich das Konzept für das nächste Wort wieder in ein konkretes Wort zurückverwandelt werden. Aus dem "Umfärben" und seinem Kontext muss also die Position im semantischen Raum für "gestrichen" werden - ohne Kontext. Der letzte Schritt ist dann die Umkehrung der Einbettung, um tatsächlich das Wort "gestrichen" zu erhalten.

• 

GPT ermittelt für jedes Wort eines Eingabetextes eine Prognose für das darauffolgende Wort. Dazu wird der Eingabetext zunächst Wort für Wort in einen semantischen Raum eingebettet. In diesem Raum wird der Aufmerksamkeitsmechanismus wiederholt angewendet. Schließlich wird das Ergebnis aus dem semantischen Raum wieder in konkrete Wörter zurückverwandelt. (Bild: Helmut Linde)

GPT-3 plappert

Das bis hierhin beschriebene Konzept entspricht einem Sprachmodell auf dem Stand von GPT-3 aus dem Jahr 2020. Es ist in der Lage, Texte thematisch passend und mit menschenähnlichen Formulierungen fortzusetzen, was auf einer Vorhersage der Folgewörter mit der jeweils höchsten Wahrscheinlichkeit beruht. Allerdings zeigt sich, dass der wahrscheinlichste Text nicht unbedingt auch der nützlichste für Anwender ist.

So kann die wahrscheinlichste Antwort auf eine suggestiv gestellte Frage deren Prämisse aufgreifen und weiterführen. Ist letztere jedoch falsch, dann können absurde Antworten die Folge sein.

Ein amüsantes Beispiel präsentierten die OpenAI-Wissenschaftler in ihrem Fachartikel zu GPT-3 (PDF): Auf die Frage, warum man nach dem Meditieren Socken essen solle, antwortet das Sprachmodell ungerührt, dass man in den Socken die Essenz der Erleuchtung schmecke und dass stinkende Füße das wahre Aroma eines wachen Geistes seien.

Außerdem enthalten die zum Training verwendeten Texte relativ wenige Dialoge mit der Art von Arbeitsanweisungen, die eine Anwenderin einer künstlichen Intelligenz geben würde - zum Beispiel einen Text zu übersetzen, zu korrigieren oder anders zu formulieren. Folglich ist GPT-3 zwar stark darin, Texte fortzusetzen oder Aufgaben anhand von Beispielen zu lösen, aber nicht unbedingt darin, direkten Arbeitsanweisungen Folge zu leisten.

Darüber hinaus ergeben sich verschiedene ethische Probleme durch die Fixierung auf eine möglichst wahrscheinliche Fortsetzung von Texten, ohne ihren Inhalt kritisch zu hinterfragen. Die Trainingsdaten - eine breite Auswahl an online verfügbaren Texten - enthalten unter anderem anstößige oder illegale Aussagen, die vom Sprachmodell nachgeahmt werden können.

Dieses Problem kann zwar durch eine sorgfältige Vorauswahl der Daten abgemildert werden, doch weisen selbst Texte aus seriösen Quellen statistische Korrelationen auf, die als Vorurteile übernommen werden. So werden beispielsweise Assoziationen von ethnischen Gruppen mit Terrorismus oder von Frauen und Männern mit bestimmten Berufsbildern im Modell festgeschrieben. Sie fließen dann ungefiltert in die erzeugten Texte ein und können zu diskriminierenden Aussagen führen.