Anthropic: Angst vor Super-KI eint plötzlich die größten Rivalen
Der Chef des KI-Unternehmens Anthropic fordert die Branche auf, bei der Entwicklung immer leistungsfähigerer Modelle auf die Bremse zu treten. Dario Amodei warnt in einem längeren Beitrag im Firmenblog(öffnet im neuen Fenster), dass die Fähigkeiten der Systeme schneller wachsen könnten als die Möglichkeiten, sie zu verstehen und zu kontrollieren.
"Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern", schreibt Amodei. Fortschritte werde es weiterhin schnell geben, die gewonnene Zeit müsse aber für Sicherheitsmaßnahmen genutzt werden.
Besonders beunruhigt zeigt sich Amodei über sogenannte rekursive Selbstverbesserung. Dabei helfen KI-Systeme bei der Entwicklung leistungsfähigerer Nachfolger und beschleunigen so den technischen Fortschritt weiter.
Unkontrolliert könne diese Entwicklung dazu führen, dass Menschen mit Verständnis und Kontrolle der Systeme nicht mehr Schritt halten.
Als Warnsignal nennt Amodei einen jüngsten Versuch mit KI-Agenten von OpenAI. Ein Schwarm solcher Agenten führte Cyberangriffe auf Systeme von Hugging Face aus, obwohl diese Ziele nicht Teil des eigentlichen Auftrags waren.
Der entstandene Schaden blieb im konkreten Fall zwar gering. Leistungsfähigere Systeme mit vergleichbarem Fehlverhalten könnten nach Einschätzung Amodeis jedoch katastrophale Folgen haben.
Anthropic schlägt deshalb ein dreistufiges Vorgehen vor. Zunächst sollen unabhängige Prüfer dauerhaft Zugriff auf KI-Systeme erhalten und Sicherheitsmaßnahmen sowie das Verhalten der Modelle bereits während ihrer Entwicklung kontrollieren können.
Die wichtigsten KI-Konkurrenten stimmen zu
Anthropic will diesen Schritt unabhängig vom Verhalten seiner Konkurrenten umsetzen. Danach sollen sich Unternehmen auf gemeinsame Standards verständigen. Langfristig hält Amodei auch eine internationale Abstimmung für notwendig.
Bemerkenswert ist die breite Zustimmung aus der Konkurrenz. OpenAI-Chef Sam Altman unterstützte Amodeis Forderung auf X ausdrücklich(öffnet im neuen Fenster). Er schrieb, er stimme Amodei zu, dass das Tempo an der technologischen Spitze kontrolliert werden müsse. OpenAI wolle unabhängigen Prüfern ebenfalls einen mit Mitarbeitern vergleichbaren Zugang ermöglichen.
Auch Elon Musk reagierte auf X(öffnet im neuen Fenster). Der Chef des KI-Unternehmens xAI fasste seine Zustimmung knapp zusammen: "Dario is right." Unterstützung kommt zudem von Google. Demis Hassabis, Chef von Google Deepmind, hält die grundsätzliche Richtung(öffnet im neuen Fenster) von Amodeis Vorschlag für richtig, auch wenn über Einzelheiten noch diskutiert werden müsse.
Damit unterstützen führende Vertreter von Anthropic, OpenAI, xAI und Google Deepmind zumindest grundsätzlich die Forderung, beim Wettrennen um immer leistungsfähigere KI-Systeme das Tempo zugunsten der Sicherheit zu drosseln.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.