Künstliche Intelligenz: So funktioniert ChatGPT

Das mächtige Sprachmodell ChatGPT erzeugt Texte, die sich kaum von denen menschlicher Autoren unterscheiden lassen. Wir erklären die Technologie hinter dem Hype.

Ein Deep Dive von Helmut Linde veröffentlicht am 6. Februar 2023, 9:31 Uhr

Wie sieht eigentlich das Innenleben des ChatGPT-Bots aus? (Bild: KI-generiert mit Stable Diffusion)

Seit das US-amerikanische Unternehmen OpenAI Ende November letzten Jahres seine neue künstliche Intelligenz (KI) ChatGPT zum kostenlosen Testen freigegeben hat, teilen Nutzer in den sozialen Medien massenhaft Beispiele dafür, wie der Chatbot Wissensfragen beantwortet, E-Mails formuliert, Gedichte schreibt oder Texte zusammenfasst.

Die Fähigkeit von ChatGPT, souverän mit natürlicher Sprache umzugehen und komplexe Zusammenhänge mit einer hohen Trefferquote zu verstehen, wird von manchen Beobachtern als weiterer Meilenstein auf dem Weg zu starker künstlicher Intelligenz angesehen - also zu Algorithmen, die der menschlichen Denkfähigkeit in jeder Hinsicht ebenbürtig sind. Doch wie funktioniert die Technologie, welche all das ermöglicht?

Sechs Jahre - eine KI-Ewigkeit

Bei ChatGPT handelt es sich um ein Sprachmodell, also um einen Algorithmus des maschinellen Lernens, der auf die Verarbeitung von Texten spezialisiert ist. ChatGPT ist dabei die neueste Generation in einer Reihe von Sprachmodellen, die auf dem 2017 eingeführten sogenannten Transformer-Modell basieren. Die Transformer-Architektur erregte bei ihrer Veröffentlichung in Fachkreisen Aufsehen, da sie spezialisierte Sprachmodelle für die Übersetzung von Texten und andere Aufgaben mit bis dahin nicht erreichter Leistungsfähigkeit ermöglichte.

Bereits im Jahr 2018 wurde von OpenAI der Generative Pretrained Transformer (GPT) als eine Abwandlung des Transformers mit einem vereinfachten Aufbau veröffentlicht (PDF). Eine wesentliche Neuerung bestand dabei in der Idee, das Sprachmodell nicht mehr für eine spezielle Aufgabe wie Übersetzung oder Klassifikation von Texten zu trainieren, für die häufig nur begrenzte Mengen an Beispieldaten zur Verfügung stehen.

Stattdessen wurde das GPT-Modell auf sehr großen Datensätzen generischer Texte vortrainiert, um statistische Eigenschaften von Sprache als solcher unabhängig von der konkreten Aufgabenstellung zu lernen. Das so vorbereitete Modell konnte dann effektiv mit kleineren Sätzen von Beispieldaten für spezielle Aufgabenstellungen angepasst werden.

Die nächste Version GPT-2 erschien 2019 (PDF). Es handelte sich dabei im Wesentlichen um eine hochskalierte Version des Vorgängermodells mit einer deutlich höheren Zahl an Parametern und mit einem Training auf entsprechend größeren Datensätzen. Im Gegensatz zur ursprünglichen Version wurde GPT-2 gar nicht mehr für spezielle Probleme angepasst, sondern konnte viele unterschiedliche Aufgaben wie das Übersetzen von Texten oder das Beantworten von Wissensfragen allein durch das Training mit generischen Texten aus dem Internet lösen.

Die dritte Generation GPT-3 (PDF) war mit 175 Milliarden Parametern noch einmal weitaus umfangreicher als GPT-2 und entsprechend leistungsfähiger. Insbesondere mit seiner Fähigkeit, längere Texte zu schreiben, die kaum von denen menschlicher Autoren zu unterscheiden waren, erregte es auch über die KI-Forschungsgemeinde hinaus Aufsehen.

Allerdings wurden auch die Einschränkungen des Modells sehr deutlich - darunter ethische Probleme mit anstößigen oder von Vorurteilen geprägten Texten sowie die Angewohnheit, völlig falsche Tatsachenbehauptungen in überzeugend klingenden Formulierungen aufzustellen.

Um diese Unzulänglichkeiten zu beheben, erweiterte OpenAI das Trainingskonzept für seine nächsten Sprachmodelle InstructGPT und ChatGPT um eine fundamental neue Dimension: Anstatt ein Modell mit riesigen Textmengen aus dem Internet allein zu lassen, wurde es nun im Nachgang von menschlichen Lehrern darin unterrichtet, konkreten Anweisungen der Nutzer Folge zu leisten und dabei ethisch vertretbare und inhaltlich korrekte Aussagen zu treffen. Um die Effektivität dieses Trainings sicherzustellen, musste auch der algorithmische Ansatz des reinen Transformer-Modells um einen weiteren Schritt - das sogenannte Reinforcement Learning - erweitert werden.

Die beeindruckenden Leistungen von ChatGPT sind also das Ergebnis einer ganzen Reihe unterschiedlicher Algorithmen und Methoden sowie vieler teils sehr kleinteiliger Tricks. In diesem Artikel liegt der Fokus darauf, ein intuitives Grundverständnis der Technologie zu vermitteln, ohne dabei durch zu viele mathematische oder technische Details den roten Faden zu verlieren. Die Links im Text verweisen zu Quellen, welche die Lücken in dieser Darstellung schließen.