Large Language Models: Wie viel ist die Arbeit von KI-Trainern wert?
Wer erinnert sich noch an GPT-2? Mit einem Marketing-Coup wollte OpenAI im Jahr 2019 der zweiten Ausgabe seines GPT-Sprachmodells zum Durchbruch verhelfen: Es sei so mächtig, hieß es damals, dass die Firma das Large Language Model (LLM) aufgrund der damit verbundenen Gefahren nicht veröffentlichen wolle(öffnet im neuen Fenster). Einige Monate später tat sie es dann doch – und statt der Apokalypse folgte kollektives Schulterzucken.
Ein Durchbruch gelang OpenAI dagegen 2023 mit der Veröffentlichung von ChatGPT. Das Erfolgsgeheimnis lag in einer entscheidenden Weiterentwicklung der inzwischen dritten Ausgabe des GPT-Modells: Unter Verwendung des RLHF-Algorithmus(öffnet im neuen Fenster) (Reinforcement Learning from Human Feedback) formten die Entwickler aus dem unspezifischen GPT-3 ein Modell, das einen menschlichen Gesprächspartner glaubhaft imitiert.