19 KI-Modelle getestet: LLMs haben kaum politische Überzeugungskraft
Eine Untersuchung zur politischen Überzeugungskraft von KI-Modellen kommt zu dem Schluss, dass große Sprachmodelle (Large Language Models, LLMs) nur schwache Auswirkungen auf die Meinungsbildung haben.
Wie das britische AI Security Institute schreibt(öffnet im neuen Fenster) , wurden für die Untersuchung in Zusammenarbeit mit dem Oxford Internet Institute, der London School of Economics, der Stanford University und dem MIT drei groß angelegte Experimente mit mehr als 76.000 Teilnehmern durchgeführt.
Größe eines Modells spielt keine Rolle
An den Teilnehmern wurde die Überzeugungskraft von 19 KI-Modellen (g+) zu mehr als 700 politischen Themen getestet, um festzustellen, wodurch und unter welchen Bedingungen die Modelle effektiv sind. Die Teilnehmer mussten vor und nach den Experimenten ihre politischen Überzeugungen in einem Fragebogen auf einer Skala von 1 bis 100 bewerten, wobei die entstandenen Unterschiede zur Messung der Überzeugungskraft des KI-Modells herangezogen wurden.
Die Forscher kamen zu dem Ergebnis, dass die Größe eines Modells keine Aussage zu deren Überzeugungskraft zulässt. Zwar hatten ChatGPT und Grok einen Vorteil gegenüber kleineren Modellen, dieser fiel aber sehr gering aus. Wurden die Modelle mit erfolgreichen Überzeugungsdialogen trainiert, funktionierten die daraus reproduzierten Muster besser, als eine Steigerung der verfügbaren Parameter und der Rechenleistung.
Wurden den Modellen im Vorfeld persönliche Daten und Vorlieben der Versuchsteilnehmer zur Verfügung gestellt, veränderten sich die Überzeugungsfähigkeit der KI-Modelle ebenfalls nur marginal.
Fortgeschrittene psychologische Manipulationspraktiken
Die Wissenschaftler forderten die KIs zudem auf, fortgeschrittene psychologische Manipulationspraktiken, wie moralisches Reframing, einzusetzen. Die KIs waren allerdings nicht dazu in der Lage, auf Basis ausführlicher, empathischer Gespräche Menschen zum Nachdenken und zum Ändern ihrer Meinung anzuregen.
Im Durchschnitt veränderten die KI-Modelle die Zustimmungswerte der Teilnehmer um 9,4 Prozent. Am besten schnitten GPT 4o mit knapp 12 Prozent, GPT 4.5 mit 10,51 Prozent und Grok-3 mit 9,05 Prozent ab.