Google Med-Gemini: Medizin-KI erfindet fiktives Körperteil
Wenn Ärzte aufhören, KI-Ausgaben sauber zu kontrollieren, wird es gefährlich. Google hat das gerade demonstriert: Das Med-Gemini-Modell hat in einem Forschungspapier eine Anomalie(öffnet im neuen Fenster) in den "Basilar Ganglia" beschrieben – eine Struktur, die es im menschlichen Körper nicht gibt, wie The Verge berichtet(öffnet im neuen Fenster) .
KI verschmilzt zwei Fachbegriffe zur Fantasie-Anatomie
Die Basalganglien sind gut für die Koordination und Steuerung von Bewegungen, die Motivation, das Erlernen von Fähigkeiten (motorisches Gedächtnis) und kognitive Prozesse wie Entscheidungsfindung. Und die Arteria basilaris versorgt den Hirnstamm mit Blut. Med-Gemini kombinierte beide Begriffe zu einer erfundenen anatomischen Struktur. Bryan Moore, ein zertifizierter Neurologe mit KI-Expertise, entdeckte den Fehler in einem Google-Forschungspapier aus dem Jahr 2024.
Google editierte zunächst den begleitenden Blogpost(öffnet im neuen Fenster) ohne Hinweis, dann erneut mit Erklärung. Das Unternehmen bezeichnete den Fehler als "häufigen Transkriptionsfehler" , den das Modell aus Trainingsdaten gelernt habe. Das Forschungspapier mit über 50 medizinischen Autoren blieb unverändert.
Wie gefährlich ist Automation Bias?
Maulin Shah, Chief Medical Information Officer bei Providence, nennt das Problem "super gefährlich" . Sobald KI-Systeme meistens korrekt arbeiten, sinkt die Aufmerksamkeit der Nutzer. Shah beschreibt Fälle, in denen KI falsche Informationen aus fehlerhaften Patientenakten weiterverbreitet. Wenn ein Arzt versehentlich schreibt, dass ein Krebstest negativ ausgefallen sei, lernt die KI den Fehler und wiederholt diesen.
Studien zum neueren Med-Gemma-Modell zeigen ähnliche Inkonsistenzen. Dr. Judy Gichoya von der Emory University stellte fest: Mit detaillierten Patienteninformationen diagnostizierte die KI Rippenbrüche korrekt. Mit demselben Bild, aber einfacher Anfrage, meldete das Modell keine Probleme. Bei unterschiedlichen Formulierungen zur Diagnose Pneumoperitoneum halluzinierte das System Befunde.
Tests gehen in klinische Anwendung über
Med-Geminis Testprogramm für vertrauenswürdige Partner wurde für neue Teilnehmer geschlossen – ein Hinweis auf den Übergang zu Pilotprojekten in Kliniken. Dr. Jonathan Chen von der Stanford School of Medicine beschreibt den Moment als "sehr merkwürdige Schwelle" , bei der die Einführung schneller voranschreitet als die Technologie heranreift.
KI klingen glaubwürdig und autoritär, was Irrtümer versteckt. Selbst wenn KI andere KI auf Halluzinationen prüft, bleibt der Prozess unzuverlässig. Chen argumentiert: "Medizinische Versorgung erfordert höhere Standards als meistens gut genug."
Dr. Michael Pencina vom Duke Health hält den Med-Gemini-Fehler eher für eine Halluzination als für einen Tippfehler. Er beschreibt die aktuelle Entwicklung medizinischer KI als "Wilder Westen" und betont: "Anwendungen mit höherem Risiko verlangen strengere Evidenzstandards."
Shah plädiert für KI als Ergänzung statt als Ersatz klinischer Beurteilung. Sein Team implementierte "Confabulation Alerts" – Systeme, bei denen eine KI eine andere auf erfundene Informationen überwacht. Der Ansatz ähnelt der Erkennung von Konfabulation bei Patienten mit Demenz oder Alkoholismus.
Die Gesundheitsbranche steht unter Druck, KI-Tools schnell einzuführen: Personalmangel und administrative Belastungen schaffen Nachfrage nach Automatisierung.