UN-Sicherheitsrat: Altman und Amodei fordern globale KI-Sicherheitsstandards
Inhalt
Sind fortschrittliche KI-Modelle inzwischen so gefährlich, dass sie wie Atomwaffen international reglementiert werden müssen? Vor dem UN-Sicherheitsrat am 23. September 2026 in New York(öffnet im neuen Fenster) haben KI-Experten und die Chefs der KI-Firmen OpenAI und Anthropic gemeinsam vor den Gefahren der neuen Technik gewarnt. Nach Einschätzung von Anthropic-Chef Dario Amodei sind die Gefahren durch KI "das wichtigste globale Sicherheitsthema, mit dem die Welt heute konfrontiert ist".
Auf Anregung Frankreichs diskutierte der Sicherheitsrat knapp zweieinhalb Stunden über die Thematik. Anlass waren mehrere gravierende Sicherheitsvorfälle in den vergangenen Monaten, bei denen KI-Agenten aus ihrer Testumgebung ausgebrochen und in externe Systeme eingedrungen waren. Zuletzt forderten OpenAI-Chef Sam Altman, Amodei und xAI-Chef Elon Musk gemeinsam eine Bremse bei der KI-Entwicklung.
Bengio warnt vor KI-Wettlauf
Der prominente KI-Kritiker und Turing-Preisträger Yoshua Bengio verwies vor dem UN-Gremium auf drei globale Bedrohungen durch fortschrittliche KI-Modelle: katastrophaler Missbrauch durch Terroristen, Machtkonzentration und Kontrollverlust über die KI. "Wir müssen kollektiv vereinbaren, dass niemand – kein Unternehmen und kein Land – ein KI-System entwickeln darf, das großflächigen Schaden anrichten könnte. Entwickler müssen unabhängigen Experten nachweisen, dass ein System sicher zu trainieren und sicher einzusetzen ist", forderte Bengio.
Dieser Wettlauf zwischen den KI-Firmen sei kein Naturgesetz. "Er ist das Ergebnis von Entscheidungen – Entscheidungen, die die Unternehmen selbst getroffen haben. Es ist auch ein Wettlauf, bei dem alle verlieren", sagte Bengio.
Konkret forderte der kanadische Informatiker drei Schritte, um die Risiken einzudämmen:
- Echte wissenschaftliche Unabhängigkeit von den Unternehmen, die zur Rechenschaft gezogen werden müssen. Dies schließt eine gemeinsame Definition von KI-Vorfällen und einen gemeinsamen Meldemechanismus ein.
- Statt Machtkonzentration die Etablierung eines echten globalen Dialogs, wie diese Technik zum Wohle der Allgemeinheit entwickelt wird.
- Gemeinsame Arbeit an technischen Lösungen, die KI von Grund auf sicher machen und durch internationale Abkommen garantiert werden.
Altman fordert internationale Standards
Altman stimmte in seiner Rede den Einschätzungen Bengios im Großen und Ganzen zu, verwies aber vor allem auf die potenziellen Vorteile der KI-Modelle für die Entwicklung der Menschheit und jedes Einzelnen. Mit Blick auf eine mögliche globale Regulierung forderte er "einen Mechanismus für sich ergänzende nationale und internationale Standards für fortschrittliche KI (frontier AI)". Zudem seien Standards zur Messung von Fähigkeiten, zur Risikobewertung, zur Feststellung ausreichender Schutzmaßnahmen und zur Gewährleistung einer sinnvollen menschlichen Kontrolle erforderlich.
Ebenfalls benötigt würden die genaue und schnelle Meldung von Vorfällen sowie Klassifizierungs- und Meldeprotokolle, "damit die Welt aus Fehlern lernen kann, bevor sie zu Katastrophen werden", sagte Altman und fügte hinzu: "Wir brauchen sichere Kanäle zwischen Regierungen, Betreibern kritischer Infrastrukturen und technischen Experten, um neu auftretende Schwachstellen und neue Bedrohungen zu teilen."
Auch Amodei sieht konkrete Gefahren durch den Missbrauch von KI-Modellen durch Terroristen oder einen Kontrollverlust auf Seiten der Entwickler.
- Anzeige Hier geht es zu The Apprentice - The Trump Story bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.