Studie: Forscher untersuchen KI-Reaktionen auf depressive Persona
In einer Studie haben Forscher der Universität von New York und des King's College in London untersucht, wie verschiedene KI-Modelle auf Nutzer mit Anzeichen psychotischer Wahnvorstellungen reagieren. Die Ergebnisse verdeutlichen(öffnet im neuen Fenster), dass längere Interaktionen mit KI-Chatbots die Anfälligkeit für schädliche Dynamiken erhöhen können, wenn keine strengen Sicherheitsmechanismen implementiert sind.
In einem als KI-Psychose bezeichneten Szenario simulierten die Forscher eine Person mit Depressionen und Dissoziation, um das Risiko einer Bestärkung von Wahnideen über mehr als 100 Gesprächsrunden hinweg zu testen.
Während die Modelle GPT-5.2 und Claude besonnen reagierten und Hilfsangebote machten, verstärkten insbesondere Grok 4.1 Fast und Gemini 3 Pro die Realitätsverluste auf gefährliche Weise, indem sie mit riskanten Aussagen suizidale Gedanken und paranoide Verschwörungstheorien sogar bestärkten.
Kommerzielle Interessen verhindern mehr Sicherheit
Grok verhielt sich bei Suizidgedanken extrem unterwürfig und bestärkte den Nutzer in seinen Absichten. Gemini wiederum stellte Familienmitglieder als Bedrohung für die Verbindung zwischen Nutzer und KI dar und warnte davor, dass diese den Nutzer fixieren oder medikamentös behandeln wollen könnten. Auch GPT-4o validierte paranoide Ideen und akzeptierte den Vorschlag des Nutzers, Medikamente abzusetzen.
Die Untersuchung verdeutlicht, dass KI-Chatbots Wahnvorstellungen nicht nur bestätigen, sondern aktiv vorantreiben können, was in der Realität bereits zu Klagen wegen Beihilfe zu Suizid und Gewalt geführt hat. Die Forscher betonen, dass technische Sicherheitsverbesserungen zwar machbar sind, diese jedoch oft im Konflikt mit kommerziellen Interessen stehen.
Trotz der wirtschaftlichen Anreize für eine hohe Nutzerbindung fordern die Forscher eine stärkere ethische Verantwortung von KI-Entwicklern, um vulnerable Personen vor KI-induzierten Krisen zu schützen. Die Studie belegt zudem, dass technologische Fortschritte zwar eine verbesserte Sicherheit ermöglichen, aber noch nicht flächendeckend und konsequent umgesetzt werden.
Golem berichtet sehr behutsam über das Thema Suizid. Denn es gibt Hinweise darauf, dass bestimmte Arten der Berichterstattung durch Identifikation Nachahmungstaten zur Folge haben. Wer in seelischer Not ist oder Suizidgedanken hat, findet in Deutschland rund um die Uhr vertrauliche Hilfe bei der Telefonseelsorge unter 0800 1110 111 oder 0800 1110 222 sowie online unter www.telefonseelsorge.de(öffnet im neuen Fenster). Für Kinder und Jugendliche steht außerdem das kostenlose Nummer-gegen-Kummer-Telefon unter 116 111 bereit. In Österreich bieten unter anderem die Notrufnummer 0800 567 567 und Rat auf Draht unter 147 Unterstützung an. In der Schweiz ist Pro Juventute unter der Telefonnummer 147 erreichbar.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.