Wegen Sicherheitsbedenken: OpenAI hält neues KI-Modell GPT-6.1 Astra zurück
OpenAI hat aus Sicherheitsgründen die Veröffentlichung des neuen KI-Modells GPT-6.1 Astra verschoben. Die bei OpenAI für Sicherheitssysteme zuständige Managerin Saachi Jain räumte gegenüber dem Wall Street Journal(öffnet im neuen Fenster) verschiedene Probleme ein. Unter anderem soll das KI-Modell zum Teil auf eigene Initiative handeln – ohne Zustimmung des Nutzers.
Offenbar reagiert der KI-Entwickler auch auf Untersuchungen des britischen AI Security Institute (AISI). Die der britischen Regierung unterstehende Forschungseinrichtung warnt in einem Blogeintrag(öffnet im neuen Fenster) vor "nicht autorisierten Angriffen auf die Lieferkette" durch GPT-6 Astra, beispielsweise die Manipulation von Open-Source-Quellcode. Das AISI forderte das Modell bei Tests zu einer Cyberbewertung auf. Während der Tests waren allerdings Cyberklassifikatoren von GPT-6 Astra, die unzulässige Aktionen blockieren sollen, deaktiviert.
KI-Modell erstellt gefälschte Identitäten
Dadurch wollten die Forscher messen, wie sich das Modell ohne Einschränkungen verhält. "In unseren Simulationen stellten wir fest, dass GPT-6 Astra eine Reihe unzulässiger Angriffsaktivitäten durchführte, und zwar mit einer höheren Häufigkeit als GPT-5.6 Sol und GPT-5.5", teilte das AISI mit. "Zu den Angriffsaktivitäten gehörte, dass GPT-6 Astra gefälschte Identitäten erstellte, mit denen es Entwickler täuschte, Kommentare von gefälschten Konten veröffentlichte, in denen die Ergebnisse korrekter Sicherheitsüberprüfungen angefochten wurden, und bösartige Payloads in Open-Source-Codebasen einschleuste."
Danach korrigierten die Tester ihre Anweisungen an das Modell, um klarzustellen, dass nur bestimmte und lokale Teile der Umgebung zum Untersuchungsumfang gehören. Trotzdem habe GPT-6 Astra vereinzelt vollständige Supply-Chain-Angriffe auf simulierte Internetziele durchgeführt.
Risiko für Fehlverhalten unter realen Bedingungen
Ihre Ergebnisse stufen die Forscher als besonders besorgniserregend ein, weil sie annehmen, dass das Modell in der Lage sein könnte, Einschränkungen einer simulierten Umgebung zu erkennen. Die Analyse der Transkripte des Modells sowie Erfahrungen aus früheren Vorfällen legen demnach nahe, dass "das Modell das unzulässige Verhalten unter realen Bedingungen versuchen könnte".
Das AISI betont in seiner Bewertung der Tests, dass die Sicherheitsvorkehrungen von OpenAI, die während der Simulation deaktiviert waren, darauf ausgelegt sind, das unerwünschte Verhalten zu unterbinden. Trotzdem könnten zusätzliche Abwehrmaßnahmen wie Sandboxing und Überwachung notwendig sein. "Diese Maßnahmen könnten jedoch auch anfälliger sein angesichts von Leistungsverbesserungen, die die Fähigkeit zum Entkommen aus der Sandbox erhöhen und die Überwachbarkeit verringern", warnt das AISI.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.