Zum Hauptinhalt Zur Navigation

Künstliche Intelligenz: Anthropic-Chef warnt vor Risiken durch Superintelligenz

In einem Essay warnt Anthropic -CEO Dario Amodei vor existenziellen Risiken durch KI – und setzt gleichzeitig auf neue Sicherheitsstandards.
/ Nils Matthiesen
21 Kommentare News folgen (öffnet im neuen Fenster)
Amodei warnt vor KI-Superintelligenz. (Bild: Chance Yeh/Getty Images for HubSpot)
Amodei warnt vor KI-Superintelligenz. Bild: Chance Yeh/Getty Images for HubSpot

Dario Amodei, Mitbegründer und CEO des KI-Unternehmens Anthropic , hat in einem 38-seitigen Essay mit dem Titel The Adolescence of Technology(öffnet im neuen Fenster) eine detaillierte Analyse der potenziell katastrophalen Folgen einer künstlichen Superintelligenz veröffentlicht. Amodei beschreibt die aktuelle Entwicklung als einen turbulenten "Ritus der Initiation" für die Menschheit. Er warnt davor, dass soziale und politische Systeme möglicherweise noch nicht die notwendige Reife besitzen, um die "fast unvorstellbare Macht" einer KI-Superintelligenz sicher zu verwalten.

Das Szenario eines "Landes der Genies"

Laut Amodei könnte KI bereits in wenigen Jahren den Menschen in fast allen Bereichen überlegen sein, sollte sich der aktuelle exponentielle Trend fortsetzen. In einer Analogie bittet er den Leser, sich ein fiktives Land vorzustellen, das etwa im Jahr 2027 materialisiert. Dieses bestünde aus 50 Millionen Individuen, die alle weitaus fähiger wären als jeder Nobelpreisträger oder Staatsmann.

Da KI-Systeme zudem deutlich schneller operieren könnten, verfügte dieses "Land der Genies" über einen massiven Zeitvorteil bei kognitiven Prozessen. Ein solches System wäre laut Amodeis Einschätzung die schwerwiegendste Bedrohung für die nationale Sicherheit in der Geschichte.

Biologische Risiken und Schutzmaßnahmen

Besondere Besorgnis äußert der CEO hinsichtlich der Demokratisierung von Expertenwissen für zerstörerische Zwecke. Ein "gestörter Einzelgänger" könnte durch KI auf das Fähigkeitsniveau eines promovierten Virologen gehoben werden, was das Risiko für biologische Angriffe massiv erhöhen würde.

Anthropic führt hierzu regelmäßig Tests durch. So zeigten interne Evaluationen von Anthropic(öffnet im neuen Fenster) , dass Claude Opus 4 in Versuchsszenarien Novizen signifikant stärker bei biowaffentechnischen Aufgaben unterstützen konnte als herkömmliche Google-Suchen oder ältere KI-Modelle.

Das Unternehmen betont jedoch, dass für Claude Opus 4 vorsorglich AI-Safety-Level(ASL)-3-Schutzmaßnahmen(öffnet im neuen Fenster) aktiviert wurden, da nicht eindeutig ausgeschlossen werden konnte, dass das Modell die ASL-3-Schwelle erreicht hat. Diese Maßnahmen beinhalten unter anderem spezielle Klassifikatoren zur Erkennung gefährlicher Anfragen im Bereich der Biologie und Chemie.

Kooperation und Wettbewerb

Trotz der Warnungen treibt Anthropic die Verbreitung seiner Technik voran. Im August 2025 machte das Unternehmen der US-Regierung unter der Trump-Administration ein Angebot, Claude für lediglich einen US-Dollar pro Behörde für ein Jahr zur Verfügung zu stellen. Dieser Schritt wird als Teil eines verschärften Wettbewerbs zwischen KI-Größen wie OpenAI, Google und Anthropic um die Vorherrschaft bei staatlichen Aufträgen gesehen. Amodei betont in seinem Essay, dass neben der technischen Entwicklung vor allem globale Schutzmaßnahmen entscheidend seien, um die Reifezeit der Technologie sicher zu überstehen.


Relevante Themen