Künstliche Intelligenz: So funktioniert ChatGPT
Seit das US-amerikanische Unternehmen OpenAI Ende November letzten Jahres seine neue künstliche Intelligenz (KI) ChatGPT zum kostenlosen Testen freigegeben hat, teilen Nutzer in den sozialen Medien massenhaft Beispiele dafür, wie der Chatbot Wissensfragen beantwortet, E-Mails formuliert, Gedichte schreibt oder Texte zusammenfasst.
Die Fähigkeit von ChatGPT, souverän mit natürlicher Sprache umzugehen und komplexe Zusammenhänge mit einer hohen Trefferquote zu verstehen, wird von manchen Beobachtern als weiterer Meilenstein auf dem Weg zu starker künstlicher Intelligenz angesehen - also zu Algorithmen, die der menschlichen Denkfähigkeit in jeder Hinsicht ebenbürtig sind. Doch wie funktioniert die Technologie, welche all das ermöglicht?
Sechs Jahre - eine KI-Ewigkeit
Bei ChatGPT handelt es sich um ein Sprachmodell, also um einen Algorithmus des maschinellen Lernens, der auf die Verarbeitung von Texten spezialisiert ist. ChatGPT ist dabei die neueste Generation in einer Reihe von Sprachmodellen, die auf dem 2017 eingeführten sogenannten Transformer-Modell (öffnet im neuen Fenster) basieren. Die Transformer-Architektur erregte bei ihrer Veröffentlichung in Fachkreisen Aufsehen, da sie spezialisierte Sprachmodelle für die Übersetzung von Texten und andere Aufgaben mit bis dahin nicht erreichter Leistungsfähigkeit ermöglichte.
Bereits im Jahr 2018 wurde von OpenAI der Generative Pretrained Transformer (GPT) als eine Abwandlung des Transformers mit einem vereinfachten Aufbau veröffentlicht (PDF)(öffnet im neuen Fenster) . Eine wesentliche Neuerung bestand dabei in der Idee, das Sprachmodell nicht mehr für eine spezielle Aufgabe wie Übersetzung oder Klassifikation von Texten zu trainieren, für die häufig nur begrenzte Mengen an Beispieldaten zur Verfügung stehen.
Stattdessen wurde das GPT-Modell auf sehr großen Datensätzen generischer Texte vortrainiert, um statistische Eigenschaften von Sprache als solcher unabhängig von der konkreten Aufgabenstellung zu lernen. Das so vorbereitete Modell konnte dann effektiv mit kleineren Sätzen von Beispieldaten für spezielle Aufgabenstellungen angepasst werden.
Die nächste Version GPT-2 erschien 2019 (PDF)(öffnet im neuen Fenster) . Es handelte sich dabei im Wesentlichen um eine hochskalierte Version des Vorgängermodells mit einer deutlich höheren Zahl an Parametern und mit einem Training auf entsprechend größeren Datensätzen. Im Gegensatz zur ursprünglichen Version wurde GPT-2 gar nicht mehr für spezielle Probleme angepasst, sondern konnte viele unterschiedliche Aufgaben wie das Übersetzen von Texten oder das Beantworten von Wissensfragen allein durch das Training mit generischen Texten aus dem Internet lösen.
Die dritte Generation GPT-3 (PDF) (öffnet im neuen Fenster) war mit 175 Milliarden Parametern noch einmal weitaus umfangreicher als GPT-2 und entsprechend leistungsfähiger. Insbesondere mit seiner Fähigkeit, längere Texte zu schreiben, die kaum von denen menschlicher Autoren zu unterscheiden waren, erregte es auch über die KI-Forschungsgemeinde hinaus Aufsehen.
Allerdings wurden auch die Einschränkungen des Modells sehr deutlich - darunter ethische Probleme mit anstößigen oder von Vorurteilen geprägten Texten sowie die Angewohnheit, völlig falsche Tatsachenbehauptungen in überzeugend klingenden Formulierungen aufzustellen.
Um diese Unzulänglichkeiten zu beheben, erweiterte OpenAI das Trainingskonzept für seine nächsten Sprachmodelle InstructGPT(öffnet im neuen Fenster) und ChatGPT(öffnet im neuen Fenster) um eine fundamental neue Dimension: Anstatt ein Modell mit riesigen Textmengen aus dem Internet allein zu lassen, wurde es nun im Nachgang von menschlichen Lehrern darin unterrichtet, konkreten Anweisungen der Nutzer Folge zu leisten und dabei ethisch vertretbare und inhaltlich korrekte Aussagen zu treffen. Um die Effektivität dieses Trainings sicherzustellen, musste auch der algorithmische Ansatz des reinen Transformer-Modells um einen weiteren Schritt - das sogenannte Reinforcement Learning - erweitert werden.
Die beeindruckenden Leistungen von ChatGPT sind also das Ergebnis einer ganzen Reihe unterschiedlicher Algorithmen und Methoden sowie vieler teils sehr kleinteiliger Tricks. In diesem Artikel liegt der Fokus darauf, ein intuitives Grundverständnis der Technologie zu vermitteln, ohne dabei durch zu viele mathematische oder technische Details den roten Faden zu verlieren. Die Links im Text verweisen zu Quellen, welche die Lücken in dieser Darstellung schließen.
Genial einfache Grundidee
Die Grundidee hinter den GPT-Modellen ist genial einfach: Finde zu einem gegebenen Text immer das nächste passende Wort - und wiederhole das, bis genug Text erzeugt wurde (siehe Abbildung 1)!
Wenn also der vorgegebene Text eine Frage ist, wird ChatGPT zunächst nur das erste Wort der Antwort bestimmen, ohne dass die gesamte Antwort oder auch nur ihr grober Inhalt schon feststehen. Daraufhin liest der Algorithmus die Frage und das erste Wort der Antwort von Neuem als Eingabe ein und erzeugt das nächste passende Wort, das also nun das zweite der Antwort ist.
Dieser Prozess wird so lange wiederholt, bis das nächste "Wort" ein Abbruchkommando ist, das den Vorgang beendet. Während Menschen normalerweise mit einer Grobstruktur für den gesamten Text beginnen und diese dann schrittweise detaillieren, handelt ChatGPT also salopp formuliert nach der Devise: "Woher soll ich wissen, was ich denke, bevor ich lese, was ich schreibe?"
Ein sehr simples Beispiel für einen solchen Worterzeuger funktioniert so: Anhand eines großen Korpus von Texten - zum Beispiel aus der Wikipedia - berechnet man für jedes Paar von Wörtern die Wahrscheinlichkeit, dass das zweite Wort in einem Text direkt auf das erste Wort folgt. So hat das Wort "Ich" mit vergleichsweise hoher Wahrscheinlichkeit Wörter wie "habe" , "bin" oder "war" als Nachfolger.
Jedes dieser Wörter hat wiederum eine Liste typischer Nachfolger. So folgt auf das Wort "habe" häufig "eine" , "ein" oder "keine" und so weiter. Mit diesem einfachen Modell kann man nun Texte erzeugen, indem man ein beliebiges Anfangswort wählt und dann immer entweder den Nachfolger mit der höchsten Wahrscheinlichkeit an den entstehenden Satz anhängt oder aus den infrage kommenden Nachfolgern einen zufällig entsprechend ihrer Wahrscheinlichkeit wählt.
In den so erzeugten Texten werden immer wieder kurze Passagen vorkommen, die sich natürlich anhören, doch werden die vollständigen Sätze weder grammatisch korrekt noch inhaltlich sinnvoll sein. Wie also erzeugt ChatGPT aus dem Wort-für-Wort-Prinzip vernünftige Texte? Um dies zu verstehen, müssen wir unser simples Sprachmodell Stück für Stück erweitern.
Einbettung von Wörtern
Ein sinnvoller erster Schritt, um einem Computer Sprache beizubringen, besteht darin, Wörtern eine grobe Bedeutung zuzuweisen. Dazu wird jedes Wort, das ja aus Sicht des Rechners zunächst nur eine Abfolge von Buchstaben ist, einem Punkt in einem sogenannten semantischen Raum zugeordnet.
Dieser Raum verfügt in der Praxis normalerweise über viel mehr als drei Dimensionen und ist daher schwer zu veranschaulichen. Doch kann man die Einbettung der Wörter darin mit dem Einsortieren von Waren in einen Supermarkt vergleichen. Die Position eines Artikels hängt dort von seinen Eigenschaften ab: Verderbliche Produkte liegen in der Kühlabteilung, Quengelware findet man an der Kasse und bei ähnlichen Artikeln findet man die teuren oben und die preiswerten unten.
Wenn ein Regalfach leer ist, kann man aus seiner Position im Markt abschätzen, was dort normalerweise liegt. Analog dazu bezeichnet eine Position im semantischen Raum eine bestimmte Bedeutung, aus der sich entweder ein bestimmtes Wort, mehrere Synonyme oder auch die Übersetzung eines Wortes in eine andere Sprache ableiten lassen.
Wie aber sortiert man Wörter in den semantischen Raum ein? Es gibt unterschiedliche Methoden, die sich in technischen Details unterscheiden. In der Praxis verbreitet ist eine Gruppe von Verfahren, die unter dem Oberbegriff Word2Vec (PDF)(öffnet im neuen Fenster) bekannt sind. Ein Beispiel dafür ist der sogenannte Skip-Gram-Algorithmus(öffnet im neuen Fenster) , der darauf abzielt, zu jedem gegebenen Wort eines Textes diejenigen anderen Wörter zu erraten, die kurz davor oder kurz danach vorkommen.
Dazu werden zunächst jedem Wort zufällig sowohl eine Position als auch ein Kontextvektor im semantischen Raum zugewiesen (siehe Abbildung 2). Der Kontextvektor eines jeden Wortes bezeichnet dabei die Position im semantischen Raum, an der seine Vorgänger- beziehungsweise Nachfolgerwörter vermutet werden. Nun wird das Modell trainiert, indem man große Datensätze Wort für Wort verarbeitet und dabei jeweils die Position des aktuellen Wortes und die Kontextvektoren seiner Nachbarn im Text einander etwas annähert.
Nach Abschluss des Trainings auf möglicherweise Milliarden von Beispielsätzen liegen Wörter mit ähnlicher Bedeutung normalerweise auch im semantischen Raum nah beieinander. Man hat auch beobachtet, dass die Geometrie dieser Einbettungen bestimmte Beziehungen zwischen Wörtern widerspiegelt. Wenn man den Vektor vom Wort "Mann" zum Wort "Frau" an die Position von "König" addiert, könnte man beispielsweise im semantischen Raum in die Nähe des Wortes "Königin" gelangen (siehe Abbildung 3).
Allerdings sind die Assoziationen, die mit jedem Wort in der menschlichen Sprache verbunden sind, viel zu komplex, um sie schlicht mit einer Position in einem (wenn auch hochdimensionalen) Raum zu erfassen. Vielmehr erschließt sich der genaue Sinn eines Wortes immer nur im Kontext mit anderen. So haben Artikel wie "eine" oder "die" gar keine eigenständige Bedeutung, bestimmen aber den Sinn von Kombinationen wie "eine Schule" oder "die Schule" .
Viele Wörter besitzen sogar je nach Kontext völlig unterschiedliche Bedeutungen, wie zum Beispiel der "König" auf dem Thron und der "König" im Schachspiel. Die Einbettung in einen semantischen Raum kann daher nur eine erste grobe Annäherung an ein echtes Sprachverständnis sein.
Aufmerksamkeit ist alles
Die KI-Forschung hat unterschiedliche Verfahren entwickelt, um Wörter sinnvoll im Kontext zu verarbeiten. Ein bekanntes Beispiel dafür ist das sogenannte Long Short-Term Memory (LSTM), das in den späten Neunzigerjahren entwickelt wurde und neben Sprachmodellen auch in verschiedenen anderen Anwendungen wie akustischer Spracherkennung oder Zeitreihenvorhersage genutzt wird.
Im Bereich der Sprachmodelle wurde das LSTM jedoch in den vergangenen Jahren immer mehr vom oben bereits angesprochenen Transformer-Modell verdrängt, das auch die Grundlage für ChatGPT bildet. Es wurde 2017 von Google-Wissenschaftlern in ihrem einflussreichen Fachartikel Attention is all you need(öffnet im neuen Fenster) (PDF) vorgestellt und seither auf vielfältige Weisen abgewandelt und verbessert.
Im Kern beruht ein Transformer auf einem Verarbeitungsschritt, der als Aufmerksamkeitsmechanismus (englisch: "attention" ) bezeichnet wird und der vom Algorithmus mehrfach wiederholt wird. Der Name des Verfahrens leitet sich davon ab, dass zu jedem Wort die Aufmerksamkeit des Sprachmodells auf bestimmte andere Ausdrücke im Text gelenkt wird, die für die Interpretation jenes Wortes besonders wichtig sind. So würde bei der Verarbeitung des Wortes "König" viel Aufmerksamkeit auf im Text benachbarte Ausdrücke wie "Springer" , "Läufer" , "Thron" oder "Schloss" gerichtet, da sie Hinweise auf die korrekte Deutung des Wortes "König" geben können.
Die genaue Funktionsweise des Aufmerksamkeitsmechanismus enthält eine ganze Reihe recht technischer Details. Die folgende Erklärung zielt auf ein intuitives Verständnis ab und nimmt dafür einige Lücken in Kauf. Eine vollständige mathematische Erklärung findet man zum Beispiel hier(öffnet im neuen Fenster) .
Im Aufmerksamkeitsmechanismus werden jedem Wort zusätzlich zu seinem Bedeutungsvektor im semantischen Raum noch zwei weitere Vektoren - Query und Key genannt - mitgegeben. Diese kann man sich in etwa als zwei Teile einer Kupplung vorstellen.
In einem Verarbeitungsschritt wird nun für jedes Wort eines Textes überprüft, mit welchen anderen Ausdrücken im Text es am stärksten gekoppelt ist, weil sein Query-Vektor in eine ähnliche Richtung zeigt wie der Key-Vektor des anderen. Die Ausdrücke mit besonders starker Kupplung erhalten Aufmerksamkeit und dürfen dem betrachteten Wort noch ein wenig zusätzliche Bedeutung mit auf den Weg geben, indem sie seine Position im semantischen Raum etwas verschieben.
Bedeutungsspalterei
Um die Beispiele von oben noch einmal aufzugreifen, könnte also der Query-Vektor von "Schule" mit dem Key-Vektor von "eine" oder dem Key-Vektor von "die" koppeln. Der Bedeutungsvektor des Wortes Schule wird dadurch aufgespalten in zwei leicht unterschiedliche Vektoren, die jeweils die Idee einer bestimmten bzw. einer unbestimmten Schule repräsentieren (siehe Abbildung 4).
Analog dazu könnte der Vektor für "König" aufgespalten werden in einen für die Schachfigur und einen anderen für den Monarchen, je nachdem mit welchen anderen Ausdrücken im Text das Wort "König" koppeln kann.
Doch woher stammen die Key- und Query-Vektoren? Sie werden durch eine Matrixmultiplikation aus dem Bedeutungsvektor eines jeden Wortes gebildet. Die Einträge dieser Matrix sind zunächst zufällig gewählte Modellparameter und müssen durch Training an großen Datensätzen gelernt werden. Wir werden weiter unten noch einmal darauf eingehen.
Durch den Verarbeitungsschritt des Aufmerksamkeitsmechanismus wurde der Ausgangstext also Wort für Wort aus dem einfachen semantischen Raum in einem neuen Raum abgebildet, dessen Punkte für etwas verfeinerte Konzepte stehen. Jedes davon ergibt sich aus einem bestimmten Wort im Kontext seiner relevantesten Nachbarwörter. Wir werden diesen Raum hier deshalb als Kontextraum bezeichnen.
Aufmerksamkeit - wieder und wieder
Als nächstes wird der Aufmerksamkeitsmechanismus nochmals angewendet - und zwar auf den bereits in den Kontextraum abgebildeten Text. Die recht einfachen Konzepte im Kontextraum bekommen also ebenfalls die Möglichkeit, sich miteinander zu koppeln und daraus noch komplexere oder abstraktere Konzepte zu bilden, die dann ihrerseits wieder in einem neuen Raum - sozusagen einem Kontextraum zweiter Ordnung - liegen.
So könnte sich das Konzept "eine Schule" unter anderem in die Idee einer bestimmten, aber nicht näher bezeichneten Schule ( "eine Schule von den dreien in unserer Stadt" ) oder in die Menge aller Schulen ( "eine Schule als ein Typ von Bildungseinrichtung" ) aufspalten.
Im Folgenden wird der Aufmerksamkeitsmechanismus wieder und wieder auf die Ergebnisse des jeweils vorherigen Verarbeitungsschrittes angewendet. Das Transformer-Modell ist damit ein typischer Vertreter der Deep-Learning-Architekturen, bei denen die Eingangsdaten in einem neuronalen Netzwerk mit einer größeren Zahl von Schichten verarbeitet werden. Im Falle von GPT passiert dies je nach Modell bis zu 96 Mal (PDF)(öffnet im neuen Fenster) .
Alles für das nächste Wort
An dieser Stelle sei an die Grundidee hinter ChatGPT erinnert: Immer das nächste Wort vorhersagen! Nach den 96 Anwendungen des Aufmerksamkeitsmechanismus soll also jedes Wort eines Textes in das darauffolgende transformiert worden sein. Genauer gesagt: An eine Stelle im semantischen Raum, die dem nächsten Wort entspricht. Das tatsächliche Wort erhält man dann dadurch, dass man die Einbettung rückgängig macht.
Die Forderung, jedes Wort in seinen Nachfolger zu transformieren, ist das entscheidende Trainingskriterium für das Sprachmodell (PDF)(öffnet im neuen Fenster) . Gewaltige Mengen an online verfügbaren Texten werden abschnittsweise verarbeitet und dabei wird jeweils eine Vorhersage für das nächste Wort erstellt, die mit dem tatsächlich folgenden Wort verglichen werden kann.
Am Anfang des Trainingsprozesses sind die Modellparameter beliebig gesetzt, so dass die Vorhersagen völlig zufällig sind. Doch werden mit jedem falschen Ergebnis die Modellparameter ein wenig angepasst und die Vorhersagen dadurch verbessert.
Das Sprachmodell GPT-3, das auch die Grundlage für ChatGPT bildet, wurde dabei mit rund 400 Milliarden Wörtern Text trainiert (PDF)(öffnet im neuen Fenster) . Die Daten stammen aus online verfügbaren Quellen wie Wikipedia oder digitalisierten Büchern sowie dem riesigen Common-Crawl-Datensatz(öffnet im neuen Fenster) , der über Jahre durch Sammeln von Inhalten aus den Weiten des Internets entstanden ist.
Wenn das Training erfolgreich abgeschlossen ist, erbringen Transformer-basierte Sprachmodelle erwiesenermaßen beeindruckende Leistungen. Wie so oft im Deep Learning ist es jedoch leider schwierig nachzuvollziehen, wie sie das genau tun. Die Frage nach der Interpretation großer Sprachmodelle ist ein Gegenstand der aktuellen Forschung und die folgende Darstellung ist daher mit Unsicherheiten und Ungenauigkeiten behaftet und bei weitem nicht vollständig.
Eine grobe Interpretation des Sprachmodells
In den ersten Ebenen - also den anfänglichen Iterationen des Aufmerksamkeitsmechanismus - wird der Eingabetext wohl zunächst in abstraktere Konzepte übersetzt. Jedes einzelne Wort wird dabei mit Bedeutungsinhalten aus dem Rest des Satzes aufgeladen. Die Konzepte werden dabei so abstrakt, dass sie sich in den noch unbekannten Teil des Textes extrapolieren lassen. So ist zum Beispiel klar, dass der Satz "Mein Haus wurde gelb ..." irgendetwas mit dem Konzept "umfärben" zu tun hat, auch wenn das konkrete Wort "gestrichen" noch fehlt (siehe Abbildung 5).
In den mittleren Ebenen wird diese Bedeutung gewissermaßen um ein Wort vorwärts verschoben. Aus dem Begriff "gelb" im Kontext von "ein Gebäude umfärben" wird also das Konzept "Umfärben" im Kontext von "ein gelbes Gebäude" .
In den letzten Ebenen muss schließlich das Konzept für das nächste Wort wieder in ein konkretes Wort zurückverwandelt werden. Aus dem "Umfärben" und seinem Kontext muss also die Position im semantischen Raum für "gestrichen" werden - ohne Kontext. Der letzte Schritt ist dann die Umkehrung der Einbettung, um tatsächlich das Wort "gestrichen" zu erhalten.
GPT-3 plappert
Das bis hierhin beschriebene Konzept entspricht einem Sprachmodell auf dem Stand von GPT-3 aus dem Jahr 2020. Es ist in der Lage, Texte thematisch passend und mit menschenähnlichen Formulierungen fortzusetzen, was auf einer Vorhersage der Folgewörter mit der jeweils höchsten Wahrscheinlichkeit beruht. Allerdings zeigt sich, dass der wahrscheinlichste Text nicht unbedingt auch der nützlichste für Anwender ist.
So kann die wahrscheinlichste Antwort auf eine suggestiv gestellte Frage deren Prämisse aufgreifen und weiterführen. Ist letztere jedoch falsch, dann können absurde Antworten die Folge sein.
Ein amüsantes Beispiel präsentierten die OpenAI-Wissenschaftler in ihrem Fachartikel zu GPT-3 (PDF)(öffnet im neuen Fenster) : Auf die Frage, warum man nach dem Meditieren Socken essen solle, antwortet das Sprachmodell ungerührt, dass man in den Socken die Essenz der Erleuchtung schmecke und dass stinkende Füße das wahre Aroma eines wachen Geistes seien.
Außerdem enthalten die zum Training verwendeten Texte relativ wenige Dialoge mit der Art von Arbeitsanweisungen, die eine Anwenderin einer künstlichen Intelligenz geben würde - zum Beispiel einen Text zu übersetzen, zu korrigieren oder anders zu formulieren. Folglich ist GPT-3 zwar stark darin, Texte fortzusetzen oder Aufgaben anhand von Beispielen zu lösen, aber nicht unbedingt darin, direkten Arbeitsanweisungen Folge zu leisten.
Darüber hinaus ergeben sich verschiedene ethische Probleme durch die Fixierung auf eine möglichst wahrscheinliche Fortsetzung von Texten, ohne ihren Inhalt kritisch zu hinterfragen. Die Trainingsdaten - eine breite Auswahl an online verfügbaren Texten - enthalten unter anderem anstößige oder illegale Aussagen, die vom Sprachmodell nachgeahmt werden können.
Dieses Problem kann zwar durch eine sorgfältige Vorauswahl der Daten abgemildert werden, doch weisen selbst Texte aus seriösen Quellen statistische Korrelationen auf, die als Vorurteile übernommen werden. So werden beispielsweise Assoziationen von ethnischen Gruppen mit Terrorismus oder von Frauen und Männern mit bestimmten Berufsbildern im Modell festgeschrieben. Sie fließen dann ungefiltert in die erzeugten Texte ein und können zu diskriminierenden Aussagen führen.
Lehrer für die KI: Die größte Hürde überwinden
Die genannten Probleme stellen eine große Hürde für den kommerziellen Einsatz von Sprachmodellen dar. Deshalb ging OpenAI in der nächsten Generation von GPT dazu über, das Modell zusätzlich direkt von Menschen unterrichten zu lassen, die eigens für diese Aufgabe angestellt wurden.
Natürlich können solche menschlichen KI-Lehrer aus Kostengründen nur eine begrenzte Anzahl an Beispielen erzeugen, die gering ist im Vergleich zur Menge der online verfügbaren Dokumente. Daher benötigt man ein gut durchdachtes Verfahren, um die wenigen, aber qualitativ hochwertigen Beispiele der KI-Lehrer automatisiert zu verallgemeinern. OpenAI hat diese Herausforderung mit der im Folgenden beschriebenen Methode bewältigt(öffnet im neuen Fenster) .
Einer Gruppe von rund 40 Mitarbeitern stellte über zehntausend Beispiele dafür zusammen, wie GPT bestimmte Aufgaben idealerweise erfüllen sollte. Sie deckte eine große Bandbreite möglicher Arbeitsanweisungen ab und stellte die inhaltliche Güte und ethische Vertretbarkeit der erwünschten Antworten sicher. Mit diesen manuell erzeugten Beispielen wurde das Modell zur Feineinstellung trainiert, nachdem das erste grobe Training an den größeren, generischen Datensätzen abgeschlossen war.
Die OpenAI-Forscher mussten jedoch erreichen, dass ihr Sprachmodell die aufwendig erstellten Beispiele verallgemeinern und damit neue Aufgaben lösen konnte. Denn selbst die rund zehntausend exemplarischen Anweisungen mit ihren Musterlösungen bilden nur einen kleinen Bruchteil der möglichen Anfragen ab, die Millionen von Nutzern an den Algorithmus stellen könnten.
GPT wird sein eigener Kritiker
Um die Beispiele seiner menschlichen Lehrer zu verallgemeinern, musste das Sprachmodell zunächst in die Lage versetzt werden, die Qualität seiner eigenen Arbeitsergebnisse zu beurteilen. Da GPT zu einem unvollständigen Text immer die Wahrscheinlichkeiten für mögliche Folgewörter berechnet, kann es zu jeder Nutzeranfrage viele unterschiedliche Ergebnisse liefern, indem jedes neue Wort entsprechend der berechneten Verteilung zufällig ausgewählt wird.
Um diese verschiedenen Ergebnisse bewerten zu können, wurde GPT um ein zusätzliches Modell erweitert. Es beruht ebenfalls auf dem Transformer-Prinzip, sagt aber nicht zu einem unvollständigen Text das nächste Wort vorher, sondern bewertet die Qualität eines Textes. Dieses Bewertungsmodell wurde von Hand trainiert, indem die bereits erwähnte Gruppe von KI-Lehrern für Zehntausende von exemplarischen Nutzeranfragen jeweils mehrere zufällig von GPT erzeugte Antworten der Qualität nach ordnete.
Mit dieser Erweiterung hatte GPT also die Fähigkeit, zu jeder Anfrage nach dem Zufallsprinzip mehrere Kandidaten für sinnvolle Antworten zu erzeugen und dann daraus die beste auszuwählen. Im letzten Schritt wurde das Modell nun befähigt, sich selbst auf Basis dieser Eigenbewertung weiter zu trainieren (siehe Abbildung 6).
Das Modell trainiert sich selbst
Bei der verwendeten Methode handelt es sich um eine der vielen Varianten des sogenannten Reinforcement Learning. Diesem liegt immer ein Modell zugrunde, in dem ein Akteur eine Abfolge von Entscheidungen treffen kann, die einen Einfluss auf seinen Zustand haben und jeweils eine Belohnung oder eine Bestrafung zur Folge haben können. Der Akteur lernt durch wiederholte Versuche aus Erfahrung, welche Entscheidungen ihm in welcher Situation zu höheren Belohnungen verhelfen können.
Die Entscheidungen trifft der Akteur auf Grundlage einer sogenannten Policy, also einer Regel, was in welcher Situation zu tun ist. Der Lernprozess besteht darin, die Policy kontinuierlich zu verbessern. Insbesondere muss eine erfolgreiche Policy bei jeder Entscheidung berücksichtigen, welche Belohnungen dadurch auch in den späteren Schritten erreicht werden können.
Auf GPT angewendet entspricht jede einzelne Entscheidung der Erzeugung eines neuen Wortes. Die Belohnung, die den Lernprozess steuert, ist die Qualitätsbeurteilung, welche sich das Sprachmodell nach der Erledigung einer Aufgabe selbst ausstellt.
Als Policy verwendete OpenAI zu Anfang das bereits vorhandene Sprachmodell, das von den menschlichen Trainern feinjustiert worden war. Anhand dieser Policy wurden Antworten auf zufällig ausgewählte Nutzeranfragen erzeugt. Die Qualität dieser Antworten wurde durch das separate Bewertungsmodell abgeschätzt. Der Reinforcement-Learning-Algorithmus passte die Policy - also das Sprachmodell - dann so an, dass die Wahrscheinlichkeit für Antworten mit einer guten Qualität erhöht wird.
In diesem letzten Schritt wurde also das Grundkonzept des Trainings deutlich erweitert: Im ursprünglichen Training wurde nur darauf geachtet, das jeweils nächste Wort richtig vorherzusagen. Bei Reinforcement Learning hingegen lernt das Modell, dieses Wort so zu wählen, dass die Qualität der gesamten Antwort am Ende möglichst hoch ist.
Die Idee dieser Kombination aus manuellen Trainingsschritten und Reinforcement Learning ist so elegant, dass sie es verdient, noch einmal zusammengefasst zu werden: Es ist offensichtlich, dass es viel zu aufwendig wäre, ein Sprachmodell manuell für alle denkbaren Aufgaben zu trainieren. Außerdem ist es einfacher, einen guten Text von einem schlechten zu unterscheiden, als einen guten Text zu erzeugen (die Literaturkritiker unter den Lesern mögen diese These verzeihen!). Also bringt man dem Sprachmodell bei, gute von schlechten Texten zu unterscheiden, und versetzt es dadurch in die Lage, sich selbst das Schreiben guter Texte beizubringen.
Die Entwicklung geht weiter
Mit dem oben beschriebenen Reinforcement-Learning-Verfahren erreichte OpenAI einen weiteren deutlichen Leistungssprung von GPT-3 zu ChatGPT und legte damit die Grundlage für die derzeitige öffentliche Begeisterung. Doch auch ChatGPT ist nicht frei von Limitationen: Zum Beispiel trifft es regelmäßig falsche oder widersprüchliche Aussagen zu Fragestellungen, die ein gewisses physikalisches oder räumliches Vorstellungsvermögen erfordern. Gleiches gilt für sehr spezielle Wissensbereiche, die in den vorhandenen Trainingsdaten nur in begrenztem Umfang abgedeckt sind.
Doch ChatGPT hat klar gezeigt, dass Sprachmodelle über ein enormes Potenzial verfügen. Ihre Entwicklung scheint an der Schwelle zu einem massenhaften kommerziellen Einsatz zu stehen, wie beispielsweise die Investition von Microsoft in OpenAI und die Reaktion von Google auf ChatGPT zeigen.
Es ist daher nicht anzunehmen, dass sich der rasante Fortschritt der Sprachmodelle in naher Zukunft verlangsamt. Er wird vielmehr durch zusätzliche Investitionen in die Technologie verstärkt werden, denn auch die Forschungsprogramme von Konkurrenten wie Google Deepmind und einer Reihe von Start-ups (öffnet im neuen Fenster) profitieren von dem Hype.
Man darf also darauf gespannt sein, welchen Einfluss Sprachmodelle künftig auf unseren Alltag haben werden - auf unsere Art zu arbeiten, miteinander zu kommunizieren, Technologie zu verwenden oder Informationen zu suchen.
Helmut Linde(öffnet im neuen Fenster) leitete verschiedene Data-Science-Teams in deutschen Konzernen und ist nun bei der Covestro AG für die Digitalisierung von Forschung und Entwicklung verantwortlich. Als Mathematiker und Physiker ist er fasziniert von naturwissenschaftlichen Themen sowie der Anwendung und der Zukunft der künstlichen Intelligenz.