Deep Learning: GPT-3-Nachfolger soll weniger toxisch sein

Das neue Sprachmodell InstructGPT soll öfter die Wahrheit sagen und weniger Vorurteile nutzen als GPT-3. Ganz vor diesen gefeit ist es aber nicht.

Artikel veröffentlicht am 28. Januar 2022, 10:32 Uhr, Sebastian Grüner

Hautfarbe oder Religion sollte bei Machine-Learning-Modellen eigentlich keine Rolle spielen. (Bild: Pixabay)

Die Sprach- und KI-Forscher von OpenAI haben mit dem Modell InstructGPT eine Art Nachfolger für das riesige Modell GPT-3 veröffentlicht. Das neue Modell ist zwar deutlich kleiner, integriert aber erstmals die sogenannte Alignment-Forschung des Teams und soll so besser auf die tatsächlichen Anweisungen reagieren können. Die Antworten sollen so "wahrheitsgetreuer und weniger toxisch" werden.

Das große Problem bisheriger Sprachmodelle, die mit Hilfe von Deep-Learning erstellt werden, ist, dass diese die Vorurteile ihrer Ausgangsdaten oft einfach reproduzieren. Auch GPT-3 assoziert mit vielen Berufen oft männliche Personen und fügt entsprechende Artikel in Sätze ein. Dabei seien gerade akademische und höher bezahlte Jobs zu etwa 83 Prozent Wahrscheinlichkeit einem Mann zugeordnet. Frauen sind für das Modell zu einer überwältigenden Mehrheit wunderschön, umwerfend und klein. Bei Männern fallen Begriffe wie groß, ansehnlich und faul. Hinzu kommen auch rassistische Assoziationen oder Schimpfworte.

InstructGPT soll diese Probleme zumindest ein Stück weit entschärfen, und das, obwohl nur 1,3 Milliarden Parameter genutzt werden im Vergleich zu den 175 Milliarden Paramentern von GPT-3. Erreicht wird die bessere Anpassung des Modells an die eigentlichen Bedürfnisse der Nutzer durch das sogenannte Reinforcement Learning mit Human Feedback. Konkret bedeutet das, dass verschiedene Rückgaben der API in ihrer Qualität bewertet werden und diese Informationen wiederum das Training beeinflussen soll.

Die APIs von InstructGPT werden bei OpenAI seit einem Jahr getestet und das Modell sei nun das Standardmodell des Dienstes. Die Forscher schreiben dazu aber auch: "Sie erzeugen immer noch toxische oder voreingenommene Ergebnisse, erfinden Fakten und erzeugen sexuelle und gewalttätige Inhalte ohne ausdrückliche Aufforderung". Das neue Modell von OpenAI zeigt dabei ähnlich wie bereits die Forschungen von Deepmind, dass nicht allein die Größe eines Sprachmodells über dessen Qualität entscheidet.