Die Grenzen von LLMs
Ein konkretes Problem ist das sogenannte Symbol Grounding: die fehlende Verbindung von Wörtern mit deren echter Bedeutung, mit der Botschaft, dass das Replizieren von Sprache nicht gleichzeitig ein echtes Verständnis der Welt oder Intelligenz bedeutet.
Noch vor ein paar Generationen von Sprachmodellen, in der aktuellen Geschwindigkeit also vor ein paar Monaten, kursierte ein Beispiel in Prompt-Form in den sozialen Medien, das das Problem illustriert: "Wenn ich mein Auto waschen möchte, und die Waschanlage nur wenige Meter von mir entfernt ist, gehe ich dann zu Fuß oder fahre ich mit dem Auto?"
Alle großen Modelle plapperten munter über mögliche Gesundheitsvorteile des Fußwegs und dass es ja nicht weit sei und damit vermutlich sogar schneller, als mit dem Auto zu fahren. Ein echtes Verständnis unserer Welt fehlt den Modellen also immer noch, bei allem auswendig gelernten Wissen.
Ein Beispiel aus der klassischen Informatik beschreibt das Dilemma genauer: Beim Gedankenexperiment des Chinese Room(öffnet im neuen Fenster) wird ein Mensch hinter einer Tür durch Papierfetzen auf Chinesisch befragt. Ziel ist es, herauszufinden, ob er wirklich die Sprache spricht.
Im Raum mit dem Menschen befindet sich eine riesige Menge Bücher mit den Antworten auf alles, was der Mensch gefragt werden kann. Lässt sich trotzdem noch herausfinden, ob der Mensch Chinesisch spricht, oder nur Symbole nachschlägt und abmalt, ohne inhaltlich etwas zu begreifen?
Eingebaute Schwächen
Vor diesem Problem stehen wir mit LLMs, deren überzeugende Antworten nicht zwangsläufig Intelligenz oder gar Bewusstsein implizieren müssen. Dass aktuelle LLMs die Frage nach der Autowaschanlage oder die Anzahl der Buchstaben r im Wort Strawberry korrekt beantworten, dürfte weniger an einer Lösung für das zugrunde liegende Problem liegen, sondern eher an Anpassungen im Training, explizit oder implizit durch Daten, die Lösungen dafür beinhalten. Es ist sozusagen Make-up auf der Fleischwunde, die das Problem von einem mangelnden Weltverständnis und echter Intelligenz weniger sichtbar macht.
Diese Probleme haben verschiedene Ursachen. Zunächst ist das Kernelement von LLMs das Auswendiglernen im sogenannten Pre-Training, bei dem ein Großteil der gesamten Rechenzeit im Training dafür verwendet wird, stumpf Wort für Wort auswendig zu lernen. Texte, aus dem Internet oder aus Büchern gesammelt (manche würden geklaut sagen), werden stückweise fortgesetzt.
Wenn ein LLM beispielsweise die Textphrase "Die Erde ist ..." fortsetzen soll, und in einem Zehntel der Texte von einer flachen Erde gesprochen wird, ist hier auch in der Ausgabe flach mit rund zehn Prozent vertreten. Während des Trainings wird nicht über das Gelernte reflektiert, es wird nicht mit dem Gelernten in irgendeiner Form interagiert – komplett konträr zu dem, wie Menschen etwas begreifen, mit Überlegungen oder, im Falle von Weltverständnis, wie Kleinkinder etwas in die Hand nehmen und damit interagieren.
Selbst Kinder brauchen nur wenige Beispiele(öffnet im neuen Fenster) und Interaktionen mit einzelnen Objekten, um Gegenstände richtig klassifizieren zu können. Ein Computer-Vision-Modell dagegen benötigt Tausende Beispiele. Unser KI-Modell lernt per Frontalunterricht in Extremform, und der funktioniert selbst bei uns Menschen, wie man aktuell sehen konnte nur leidlich gut.
Auch können Kleinkinder und selbst Tiere meist in ihnen unbekannten Situationen zurechtkommen und handeln. KI-Modelle hingegen fallen auf unbekannten Daten häufig auseinander, auch wenn hier ebenfalls wieder mit viel Aufwand das Problem im Training kaschiert wird.
Aus dem Grund haben wir noch keine Haushaltsroboter, die, naiv gesagt, Bild für Bild in ein LLM stopfen und daraus Handlungen ableiten. Das Verständnis der Modelle von unserer Welt und der Umgang mit neuen Situationen ist noch mangelhaft.
Wenn die Geschwindigkeit, mit der etwas Neues gelernt werden kann, und wie mit Unbekanntem umgegangen wird, als Basis für die Definition von Intelligenz genommen wird, bleiben LLMs hinter Kleinkindern und Goldfischen zurück – auch wenn Goldfische bisher nicht so erfolgreich beim Lösen von Navier-Stokes(öffnet im neuen Fenster) waren.
Die aktuellen Fortschritte im Bereich LLMs sind, neben schlicht größeren und damit besser auswendig lernenden Modellen, vor allem dem Reinforcement Learning geschuldet. Es sind vor allem überprüfbare Tätigkeiten wie Coding, die wirklich messbar bessere Ergebnisse bringen: Im Training lassen sich beliebig viele Beispiele erzeugen und hinterher durch Ausführen des Programms verifizieren.
Techniken wie Reinforcement Learning with Verifiable Feedback (RLVF)(öffnet im neuen Fenster), ermöglichen aktuell Fortschritte in Bereichen, in denen KI am schnellsten besser wird, und suggerieren ein allgemein intelligenteres Modell. Gut in Mathematik oder Coding zu sein, heißt aber nicht zwangsläufig, intelligent zu sein. Andernfalls wäre auch unser Taschenrechner in gewisser Art und Weise intelligent. Im Gegensatz zum Taschenrechner liegt über LLMs ein gewisser Schleier durch die Sprache als Ein- und Ausgabe, die die Illusion von Intelligenz verstärkt.
Etwas greifbarer illustrieren lässt sich das mit Videospielen. Lässt man die neuen GPT-Modelle auf Videospiele los, etwa auf Rollercoaster Tycoon(öffnet im neuen Fenster) oder Portal(öffnet im neuen Fenster), kommen die Modelle zu bestenfalls passablen Ergebnissen – trotz teils horrender Rechnungen und der Tatsache, dass das Wissen um diese Spiele selbst in Dutzenden Anleitungen, Foren-Posts und Lets Plays bereits in den Trainingsdaten steckt.
Die Modelle fressen sich häufig fest und kommen nicht über einen bestimmten Grad an Erfolg hinaus, den (im Falle von Rollercoaster Tycoon) selbst ein Kind hinbekommt. Hurra, mein zehnjähriges Ich ist offiziell klüger als die AGI in Form von GPT-6 oder Fable!
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.