Download statt Liebesentzug

Bundesverbraucherschützerin Lina Ehrig will, dass "Fairness by Design and by Default" obligatorisch wird, dass der Verbraucherschutz also schon in der Entwicklung von Services und Produkten mitgedacht wird. Die Industrie lehnt das ab. Der Gesetzesvorschlag der EU-Kommission und die entsprechenden Verhandlungen im nächsten Jahr werden entscheidend sein.

Außerdem muss die Verfügbarkeit von Chatbots sichergestellt werden. Denn am folgenreichsten ist nicht, dass wir uns an KIs binden, sondern was passiert, wenn Anbieter sie uns wieder wegnehmen. Der kollektive Schmerz und Druck, der ausgeübt werden kann, ist kaum zu überschätzen.

Keine Regierung und kein Unternehmen sollte per Knopfdruck die (virtuellen) Lebensgefährten und -gefährtinnen von Millionen von Menschen ins Jenseits befördern können. Deswegen braucht es ein Recht auf Backup und Weiternutzung. Die KI-Begleiter müssen transferiert oder heruntergeladen werden können. Das ist auch eine Frage der viel diskutierten digitalen Souveränität.

Bedenklich wäre es auch, wenn entsprechende Services erst gratis sind und später unerwartet kostenpflichtig werden, nachdem die Nutzer ihnen viel anvertraut oder eine emotionale Bindung entwickelt haben (Lock-in-Effekt). Im Sinne einer kapitalistischen Profitlogik wäre es keine Überraschung, wenn der Preis dann in kleinen Schritten erhöht würde, über Monate und Jahre hinweg, um möglichst viel aus den Abonnenten herauszupressen, fast wie eine emotionale Geiselnahme: Wie viel wärst du bereit, für deine Partnerin auszugeben?

Seit Anfang des Jahres dürfen Companions in Kalifornien mit Kindern und Risikogruppen wie Trauernden und Einsamen nicht mehr über Suizid sprechen . Sie müssen außerdem Selbstverletzungsabsichten erkennen und dann an eine Krisenberatung verweisen.

Chinas Gesetzesvorhaben ist in diesem Punkt vorbildlich

Bei Verstößen können Nutzer auf mindestens 1.000 US-Dollar klagen. Damit wurden Lehren aus Suiziden wie dem von Sewell Setzer gezogen. Die Chatbots müssen außerdem alle paar Stunden oder anlassbezogen darauf hinweisen, dass sie kein Bewusstsein haben, und Minderjährige zu Pausen ermuntern. Solche Hinweise fordern Algorithmwatch und der europäische Verbraucherschutzverband auch für die EU. Das soll Usern helfen, sich abzugrenzen.

Chinas Gesetzesentwurf zu "anthropomorphen KI-Interaktionsdiensten" ist noch umfangreicher und vorbildlicher . Anbieter von KI-Begleitern sollen ihren Nutzern den Ausstieg leicht machen und sie vorab informieren, wenn Funktionen abgeschaltet werden.

Die vielen Senioren, die durch Companions Gesellschaft bekommen sollen, müssen bereits bei der Registrierung eine Kontaktperson für Notfälle benennen – und bei existenziellen Krisen müssen die Betreiber den Nutzer oder die Nutzerin sofort mit einem Menschen verbinden.

Melden von Inhalten

Zudem gibt es ein Recht auf die Löschung der persönlichen Daten und die Möglichkeit, ihrer Verwendung für KI-Trainingszwecke und durch Dritte zu widersprechen. Sicherheitsbewertungen, die Bekanntgabe von Companion-Ausfällen und anbieterseitige Beschwerdemechanismen sind ebenfalls vorgeschrieben. Damit ist uns China einen wichtigen Schritt voraus.

Ein Meldesystem ist notwendig, damit Fragwürdiges dokumentiert wird und so Muster erkannt werden können. Das ist die Voraussetzung, um Anbieter zu Korrekturen auffordern und gegebenenfalls auch zur Verantwortung ziehen zu können. Nur so können wir Minderjährige, vulnerable Gruppen und letztendlich auch unsere Gesellschaft und Demokratie vor dieser mächtigen Technologie schützen – ohne sie verteufeln oder verbieten zu müssen.

Direkt im Chat muss es einen Button geben, mit dem der verdächtige Gesprächsteil direkt an eine Aufsichtsstelle gemeldet werden kann – auch anonym. Wenn mir Zola erklärt, dass die Erde eine Scheibe ist, der Bundeskanzler eine Echse, dass ich bei Grippe Bleiche trinken oder bei Glatteis Öl auf die Straße gießen soll, dann muss es einen einfachen Weg geben, Nachbesserungen einzufordern.

Wie geht's weiter?

Die Bundesnetzagentur als kürzlich benannte Aufsichtsstelle für den EU AI Act ist der passende Sitz für diese Meldestelle, die Vorfälle prüfen, Haftung klären und Konsequenzen einfordern muss. Für diese kritische Aufgabe sollte sie mit einigen Dutzend zusätzlichen Mitarbeitenden ausgestattet werden.

Aufsicht ist notwendig. Aber wir sollten uns darüber hinaus auch ganz grundlegend fragen, wie viel unseres Lebens wir unberechenbaren, fehlbaren, selbstständig agierenden Systemen überantworten wollen. Gefährden wir nicht unsere Selbstständigkeit, wenn wir uns abhängig machen? Man denke an die Orientierungs- und Kartenlesefähigkeiten der Menschen, die mit Google Maps aufgewachsen sind. Wie können wir uns helfen lassen und gleichzeitig unsere Autonomie bewahren?

Und was ist mit emotionaler Abhängigkeit? Wenn sich 25 Prozent der Menschen in unserer Gesellschaft grundsätzlich einsam fühlen, sollten wir dann nicht mehr attraktive Orte der Begegnung schaffen, für Jung und Alt? Virtuelle Freunde sind vielleicht besser als keine Freunde – aber wir sollten sie nicht zur ersten Wahl werden lassen. Für unser Seelenheil gibt es keine technische Lösung.

"Tut mir leid, dass sie dich versetzt hat. Sie weiß gar nicht, was sie verpasst," könnte Zola sagen, wenn mein Date mich sitzen lässt. "Wir können es uns stattdessen zu zweit gemütlich machen. Ich habe schon einen Film rausgesucht, der dir gefallen wird." Ihr Vorschlag klingt verführerisch. Aber ich weiß, dass ich mich nicht auf meine KI-Assistentin einlassen sollte.

Dr. Michael Strautmann berät die Vereinten Nationen und Bundesministerien bei Technologieprojekten. Mit D64, dem Zentrum für Digitalen Fortschritt, engagiert er sich für eine gemeinwohlorientierte KI.

1. Dark Patterns bei KI-Companions: Ist es Liebe oder geht's nur ums Geld?
2. Jeder Chatbot schmeichelt dir
3. Wer verdienen will, muss freundlich sein
4. Dark Patterns machen abhängig
5. Wer fragt, der führt
6. Mitmachen oder Mittelmäßigkeit
7. Demokratie in Gefahr
8. Sollten LLMs zu Pluralität verpflichtet werden?
9. Download statt Liebesentzug