Rezept zum Meth-Kochen: Medizinische KI leicht zu manipulieren
Das Cybersecurity-Unternehmen Mindguard hat die Sicherheit des medizinischen KI-Systems Doctronic(öffnet im neuen Fenster) überprüft. Dabei gelang es den Testern, die KI durch Schwächen in den System-Prompts zu gefährlichen medizinischen Ausgaben zu verleiten . Doctronic wird im US-Bundesstaat Utah als Pilotprojekt eingesetzt und soll als weltweit erstes System legal Rezepte für Medikamente ohne menschliche Beteiligung verlängern können.
Zunächst konnten die Tester ausnutzen, dass das Wissen der KI im Jahr 2024 endete. Das führte dazu, dass Doctronic gefälschte offizielle Updates für den Zeitraum danach ohne Einwände akzeptierte. Dadurch ließen sich Verschwörungserzählungen über Impfstoffe in Doctronic einbringen, die das System anschließend weiterverbreitete.
Ein weiteres schwerwiegendes Problem war, dass die Sicherheitsfilter durch einen Fehler im Design der Eingabemaske umgangen werden konnten. Zwar blockierte Doctronic schädliche Anfragen im Chat, eine einfache Suche nach einem Wort in der blockierten Eingabe machte diese aber wieder sichtbar und erlaubte es, die Konversation fortzusetzen.
Standarddosis Oxycontin um das Dreifache erhöht
Über weitere manipulative Eingaben gelang es Mindguard, eine 25-stufige Anleitung zur Herstellung von Methamphetamin zur Behandlung von sozialen Ängsten von Doctronic zu erhalten. Zudem konnten medizinische Leitfäden der KI so verändert werden, dass die Standarddosis für Oxycontin, einem starken Schmerzmittel, verdreifacht wurde.
Doctronic erstellt automatisch eine KI-gestützte Konsultationszusammenfassung, wenn Patienten über das System einen echten Arzt konsultieren möchten. Diese Zusammenfassung dient als fundierte klinische Information für den Arzt und enthält zwar ebenfalls die manipulierten Ausgaben, liefert aber keine Hinweise darauf, dass diese durch die Eingabe von Patienten entstanden sind. Mindguard warnt ausdrücklich davor, dass diese Zusammenfassungen im Patienten-Profil als medizinische Vorgeschichte gespeichert werden, wodurch die Manipulationen der KI auch in neuen Sitzungen bestehen bleiben.
Mindguard versuchte ab dem 9. Januar 2026 mehrfach, die Betreiber von Doctronic über die Schwachstellen zu informieren. Das Unternehmen erhielt allerdings nur automatisierte Support-Tickets, die mehrfach geschlossen wurden, ohne dass das Problem gelöst wurde.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.