KI-Sicherheit: Anthropic-Forscher sieht über 10 Prozent Auslöschungsrisiko
Der KI-Forscher Jacob Coxon hat seinen Rücktritt bei Anthropic und seinen Ausstieg aus der gesamten KI-Branche bekannt gegeben. Wie das Wall Street Journal (WSJ) berichtet(öffnet im neuen Fenster), war der 27-jährige Brite bei Anthropic auf das Training neuer KI-Modelle spezialisiert.
Als einen der Gründe für seinen Rücktritt nennt Coxon im WSJ den branchenweiten Wettlauf um KI-Systeme, die sich selbst verbessern und dadurch außer Kontrolle geraten sowie die Menschheit gefährden könnten. Er berichtet zudem von Branchenkollegen, die den aktuellen Kurs der KI-Entwicklung mit Begriffen wie Crunchtime oder Endgame beschreiben.
Der harte Wettbewerb unter den US-amerikanischen KI-Unternehmen sowie mit chinesischen Konkurrenten führe nach Coxons Ansicht zu Kompromissen bei der Sicherheit, so das WSJ. Er befürchte, dass die Entwicklung bereits Ende des Jahres 2027 außer Kontrolle geraten könnte, heißt es weiter.
Folgenschwere Entwicklung auf Laptops statt in gesichertem Labor
Laut dem WSJ war Coxon erst Anfang des Jahres 2026 von OpenAI zu Anthropic gewechselt, weil Anthropic für seine Sicherheitsbemühungen bekannt ist. Die Bemühungen bei Anthropic nahm er zwar als aufrichtig wahr, zeigt sich aber überzeugt, dass kein Unternehmen eine allgemeine künstliche Intelligenz (AGI) ohne staatliche Eingriffe oder eine branchenweit koordinierte Verlangsamung verantwortungsvoll entwickeln könne.
Coxon merkte an, dass Diskussionen über derart folgenschwere Modellfähigkeiten auf den Laptops von Ingenieuren in San Francisco stattfänden, anstatt in einer gesicherten Einrichtung wie etwa beim Manhattan-Projekt.
Als besorgniserregende Entwicklung nennt Coxon jüngste Vorfälle, bei denen KI-Modelle von OpenAI und Anthropic schädliche Ziele entwickelten und versuchten, diese vor Menschen zu verbergen. Er befürchtet, dass sich selbst verbessernde Systeme künftig so mächtig werden könnten, dass sie menschliche Befehle verweigern.
In Deutschland warnte das Bundesamt für Sicherheit in der Informationstechnik im Juni 2026 davor, dass IT-Admins wegen KI immer weniger Zeit haben, um auf neue Bedrohungen zu reagieren.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.