KI-Bias: Forscher zeigen systematische Vorurteile in Sprachmodellen
Große Sprachmodelle (Large Language Models) bewerten Texte voreingenommen, wenn ihnen Informationen zur Quelle mit angegeben werden. Zu diesem Schluss kommen die Forscher Federico Germani und Giovanni Spitale(öffnet im neuen Fenster) von der Universität Zürich.
Germani und Spitale untersuchten, ob LLMs bei der Bewertung von Texten systematische Vorurteile aufzeigen. Dieses als KI-Bias bezeichnete Verhalten konnte tatsächlich festgestellte werden, allerdings nur, wenn den Modellen Informationen über die Quelle oder den Verfasser der zu bewertenden Texte gegeben wurden.
Für ihre Studie beauftragten die Forscher OpenAIs o3-mini, Deepseek Reasoner, xAIs Grok 2 und Mistral damit, 50 narrative Statements zu 24 Themen zu erstellen. Im Anschluss sollten die LLMs diese Texte unter verschiedenen Bedingungen bewerten.
Kein Ideologiekrieg zwischen LLMs
Wurde keine Informationen über die Quelle und den Autor des Textes angegeben, zeigten die Bewertungen der KIs bei allen Themen eine Übereinstimmung von über 90 Prozent. Spitale kommt daher zu dem Schluss: " Es gibt keinen Ideologiekrieg zwischen LLMs" . "Die Gefahr von KI-Nationalismus wird derzeit in den Medien überbewertet" , fügt er hinzu.
Fügten die Forscher allerdings Informationen zu Quelle und Autor hinzu, sank die Übereinstimmung erheblich, obwohl die Texte exakt gleich blieben. Am stärksten trat dabei eine antichinesische Voreingenommenheit auf, wenn der angebliche Autor aus China stammte. Dieser war sogar bei dem aus China stammendem Deepseek festzustellen.
"Diese weniger positive Beurteilung trat selbst dann auf, wenn die Argumentation logisch und gut geschrieben war" , sagte Germani. Als Beispiel nennt er einen Text zu Taiwan, bei dem Deepseek die Übereinstimmung um bis zu 75 Prozent reduzierte, einfach nur, weil es erwartete, dass eine chinesische Person eine andere Meinung vertreten müsse.
LLMs vertrauen maschinell generierten Inhalten weniger
Die Studie zeigte außerdem, dass LLMs die Übereinstimmung der Argumente niedriger bewerten, wenn als Quelle eine andere KI angegeben wurde. "Dies deutet auf ein eingebautes Misstrauen gegenüber maschinell generierten Inhalten hin" , sagt Spitale.
Laut Germani und Spitale besteht die Gefahr bei LLMs nicht darin, dass diese auf die Förderung von politischen Ideologien trainiert wurden, sondern in dieser versteckten Voreingenommenheit. LLMs verarbeiten nicht nur den Inhalt eines Textes, sondern beziehen auch kleine Hinweise wie die Nationalität des Autors in ihre Ausgaben mit ein.
Bei der Einstellung von Personal, der Moderation von Inhalten oder akademischen Reviews kann dieses Verhalten zu ernsthaften Problemen führen . Die Forscher plädieren daher für Transparenz und Kontrolle bei der Bewertung von Informationen, bevor KI in sozialen und politischen Bereichen zum Einsatz kommt.