Kontinuierliches Lernen
Aber nicht nur Tokens machen Probleme. Die Modelle sind auch nicht fähig, Neues im Einsatz dazuzulernen. Sie entwickeln sich nicht durch die Interaktion mit den Nutzern selbstständig und kontinuierlich weiter.
Die Gewichte hinter dem neuronalen Netz sind statisch. Zwar können über den Prompt aktuelle Informationen oder Beispiele eingegeben werden, etwa durch einen vorgeschalteten ''System Prompt''(öffnet im neuen Fenster) , in dem das aktuelle Datum steht, oder durch Erklärungen des Nutzers.
Die Gewichte des Netzes ändert das allerdings nicht - ohne weitere Tricks verschwindet alles Gesehene bei der nächsten Eingabe und muss erneut hinzugegeben werden. GPT-5 zum Beispiel hält Ozzy Osbourne noch für lebendig, sofern es nicht im Internet nach dem Namen sucht und die Informationen vor den Nutzer-Prompt schaltet.
Als praktische Lösung für dieses Problem gibt es verschiedene Ansätze(öffnet im neuen Fenster) , wie das Lernen von kleineren Anpassungen zum Sparen von Ressourcen, oder ein Mischen von alten und neuen Daten. Das Problem dabei ist grundsätzlich, neue Informationen aufnehmen zu können, ohne das bereits Bekannte zu vergessen oder dabei viele Ressourcen aufzuwenden. Denn jede Woche ein neues Modell zu trainieren, ist wirtschaftlich schlicht nicht machbar.
Halluzinationen bekämpfen
Das Training durch die Vorhersage von Texten selbst bringt einen weiteren Nachteil, da das Modell immer zwangsläufig durch Vor-sich-hin-reden lernt. Dadurch lassen sich mit etwas Gaslighting, also dem manipulierenden Unterstellen von Dingen, ChatGPT und Co. immer noch schnell davon überzeugen, Unwahrheiten zu reden oder Fakten zu erfinden. Dies geschieht auch regelmäßig in Form von Halluzinationen.
Schließlich wird für jede Eingabe ein nächster Textfetzen ausgewählt, und eine vom Modell vorhergesagte Wahrscheinlichkeit für das nächste Stück Text liegt in Summe immer bei 100 Prozent - egal wie unsicher das Modell sich eigentlich sein müsste.
KI-Modellen, die stark darauf getrimmt sind, Muster zu erkennen und fortzusetzen, lässt sich das nur schwer wieder austreiben, auch wenn Ansätze(öffnet im neuen Fenster) das probieren, zum Beispiel durch das aktive Training auf Halluzinationen als Negativbeispiele.