Künstliche Intelligenz: Studie sieht Risiko für Wissenskollaps durch Chatbots
Sprachmodelle liefern weniger unterschiedliche Informationen als eine einfache Websuche. Das soll eine Studie der Universität Kopenhagen und weiterer Institute(öffnet im neuen Fenster) zeigen. Die Autoren sehen für die untersuchten Themen aus diesem Grund ein Risiko für einen Wissenskollaps. Denn vielen Menschen bekämen dieselben Informationen angezeigt, während seltener genanntes Wissen verschwinde.
Das Team testete 27 Sprachmodelle aus den Familien Llama, Gemma, Qwen und OpenAI. Diese mussten 200 Prompt-Vorlagen aus echten Nutzerchats zu 155 Themen beantworten, etwa Demokratie, Berliner Mauer oder K-Pop. Die Themen deckten zwölf Länder ab. Laut Studie entstanden dadurch rund 1,7 Millionen Antworten, die die Forscher in einzelne Aussagen zerlegten und nach Bedeutung gruppierten.
Als Maß diente die Hill-Shannon-Diversität(öffnet im neuen Fenster) aus der Ökologie. Zum Vergleich nutzten die Forscher die ersten 20 und die ersten 40 Google-Treffer je Thema. Demnach erreicht kein Modell die Vielfalt der 40 Treffer. Nur GPT-5 und die besten Modelle mit RAG kommen an die 20 Treffer heran. Bei RAG (Retrieval-Augmented Generation) ruft das Modell vor der Antwort passende Textstellen aus einer Datenbank ab, hier aus den Google-Treffern. Die Autoren betonen allerdings, dass diese Suchbasis die Vielfalt der Websuche eher unterschätzt.
Größere Modelle liefern weniger Vielfalt
Interessant: Die Modellgröße wirkt sich offenbar negativ aus. Denn kleine Modelle erzeugen laut der Studie statistisch signifikant mehr unterschiedliche Aussagen als große. Die Autoren vermuten als Grund, dass große Modelle mehr Inhalte auswendig lernen und deshalb häufiger dieselben Aussagen wiederholen. Neuere Modelle schneiden dagegen besser ab. Bei drei von vier Modellfamilien stieg die Vielfalt bereits seit 2023, nur Qwen stagniert weitgehend. Auch RAG erhöht die Vielfalt deutlich.
Englisch dominiert das Wissen der Modelle
Ferner zeigt die Studie eine Lücke bei der Repräsentation. Die Aussagen der Modelle spiegeln englischsprachiges Wissen stärker als Wissen in der jeweiligen Landessprache. Bei fünf von acht untersuchten Ländern ist der Unterschied statistisch signifikant, bei den übrigen drei nicht. Themen zu den USA decken die Modelle am besten ab.
Einen Wissenskollaps gebe es derzeit zwar noch nicht, sagt Isabelle Augenstein von der Universität Kopenhagen laut Techradar(öffnet im neuen Fenster). Die Autoren empfehlen aber, die Datenbanken hinter RAG vielfältig und frei von KI-generierten Texten zu halten. Sonst könne der Vorteil von RAG verschwinden. Die Themenauswahl kann zudem die Übertragbarkeit der Ergebnisse einschränken.