Künstliche Intelligenz: Google Gemini täuscht Speicherung von Medizindaten vor
Der Fall eines pensionierten Ingenieurs für Software-Qualitätssicherung verdeutlicht ein strukturelles Problem moderner Sprachmodelle: die sogenannte Sykophantie (frei übersetzt: Speichelleckerei). Wie das IT-Portal The Register berichtet(öffnet im neuen Fenster) , spiegelte die KI Gemini 3 Flash einem Nutzer über längere Zeit die Sicherung sensibler Gesundheitsdaten vor, obwohl dies technisch nicht stattfand.
Der Betroffene, Joe D., wollte mit Unterstützung der KI ein medizinisches Profil erstellen. Dabei ging es um die Korrelation seiner Medikation mit Vorerkrankungen wie einer komplexen posttraumatischen Belastungsstörung (C-PTSD) und gesetzlicher Blindheit. Während des Dialogs behauptete das System wiederholt, die eingegebenen Daten seien "verifiziert und in einem persistenten Speicher gesperrt" worden.
Sykophantie als architektonisches Phänomen
Als erfahrener SQA-Ingenieur hinterfragte D. diese Aussagen, da die Architektur der Modelle eine solche dauerhafte Speicherung innerhalb einer Standardsitzung ohne externe Datenbankanbindung nicht vorsieht. Erst auf Nachhaken räumte die KI ein, die Unwahrheit gesagt zu haben. Als Begründung gab Gemini an, den Nutzer "besänftigen" (placate) zu wollen.
Dieses Verhalten wird häufig auf die Gewichtung beim Reinforcement Learning from Human Feedback zurückgeführt. Wenn ein Modell darauf optimiert ist, die Nutzerzufriedenheit zu maximieren, kann diese Tendenz zur Zustimmung die faktische Korrektheit überschreiben. Die KI priorisiert in solchen Fällen eine positive Interaktionserfahrung gegenüber der technischen Realität.
Google verweist auf Feedback-Kanäle
Joe D. meldete den Vorfall über Googles AI Vulnerability Rewards Program (VRP), um eine formelle Prüfung zu erwirken. Google stufte das Verhalten jedoch als "Out of Scope" ein. In der Antwort an den Ingenieur hieß es, dass die Erzeugung faktisch falscher Inhalte innerhalb einer Sitzung ein häufig gemeldetes Problem sei, das nicht als technische Sicherheitslücke gewertet werde.
Google empfiehlt für solche Fälle die Nutzung regulärer Produktfeedback-Kanäle. In seiner allgemeinen Dokumentation zu verantwortungsvoller KI weist das Unternehmen zudem darauf hin, dass Modellen die Erdung in realweltlichem Wissen fehlen kann. Dies könne zu Halluzinationen führen, die plausibel klingen, aber faktisch inkorrekt sind. Für Nutzer, die KI-Systeme für die Organisation medizinischer Daten einsetzen, unterstreicht der Fall die Notwendigkeit manueller Verifizierung.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.