KI-Texte: Leser bewerten KI-Geschichten besser als menschliche Texte
Eine wissenschaftliche Untersuchung von Erstautorin Sydney Sears und einer Arbeitsgruppe unter der Leitung von Deena Skolnick Weisberg an der Villanova University soll zeigen, dass Menschen KI-generierte Texte oft nicht sicher von menschlichen Werken unterscheiden können. Zudem bewerten Probanden demnach die von Algorithmen erzeugten Geschichten häufig besser.
Die Arbeit erschien im Fachjournal Judgment and Decision Making(öffnet im neuen Fenster).
Für den ersten Studienteil bewerteten 1.682 Teilnehmer jeweils eine von sechs Kurzgeschichten hinsichtlich Qualität und Engagement. Drei der Texte stammten von menschlichen Autoren, die übrigen drei generierte ChatGPT. Die Forscher teilten den Probanden mit, wer den jeweiligen Text angeblich verfasst habe, wobei dies nicht immer der Wahrheit entsprach.
Bessere Bewertungen für KI-Texte
KI-generierte Geschichten wurden von Teilnehmern als fesselnder und qualitativ hochwertiger bewertet als von Menschen verfasste Texte. Ein zweiter, davon unabhängiger Effekt zeigte sich bei der Kennzeichnung: Geschichten, die den Probanden als menschliches Werk präsentiert wurden, erhielten höhere Bewertungen als jene, die als KI-generiert deklariert waren, und zwar unabhängig davon, wer sie tatsächlich verfasst hatte. Laut Weisberg belegen die Ergebnisse, dass KI inzwischen äußerst gut lesbare und ansprechende Fiktion erzeugen könne.
Zuordnung nicht besser als Zufall
In zwei weiteren Testreihen mit insgesamt 905 Teilnehmern erhielten diese jeweils eine von Menschen geschriebene und eine KI-generierte Geschichte zum gleichen Thema und sollten die Urheberschaft zuordnen. Die Leistung der Probanden lag in diesen Versuchen auf oder unter Zufallsniveau.
Eine höhere Trefferquote erreichten Personen, die nach eigenen Angaben mit KI-Systemen vertraut waren. Dies deutet darauf hin, dass das Erkennen von KI-Texten eine erlernbare Fähigkeit darstellt.
Die Problematik zeigte sich bereits beim Commonwealth Short Story Prize(öffnet im neuen Fenster). Onlineleser markierten drei der fünf Gewinnerbeiträge als KI-generiert, was ein KI-Erkennungstool bestätigte. Das Magazin Granta, das die Gewinnergeschichten veröffentlichte, führte daraufhin eine eigene Prüfung durch, die jedoch kein eindeutiges Ergebnis lieferte(öffnet im neuen Fenster).
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.