Astra: OpenAI will neues KI-Modell vorerst nicht veröffentlichen
OpenAI hat mitgeteilt(öffnet im neuen Fenster), dass ein neues KI-Modell vorerst nicht veröffentlicht wird. Erste Tests an dem Modell, das intern als Astra bezeichnet wird, habe Ergebnisse geliefert, die stark genug ausfielen, um eine kritische Einstufung im Bereich Cybersicherheit nicht mehr ausschließen zu können. Diese Schwelle ist im eigenen Preparedness Framework festgelegt.
OpenAI veröffentlichte das Preparedness Framework(öffnet im neuen Fenster) bereits im Dezember 2023, zu einem Zeitpunkt, an dem noch kein eigenes Modell in den Bereichen Biologie, Chemie, Cybersicherheit oder Hacking-Fähigkeiten an die Nähe eines solchen Niveaus gekommen war. Der Rahmen legt fest, welche Maßnahmen greifen, sobald sich ein Modell einer bestimmten Schwelle nähert. Andere aktuelle Systeme wie GPT 5.6 Sol wurden im Bereich Cyberfähigkeiten geprüft und lediglich der Stufe "hoch" zugeordnet, nicht der Stufe "kritisch", der höchsten Bewertung.
Als kritisch gilt ein Modell laut Framework dann, wenn es eigenständig, ohne menschliche Steuerung, funktionierende Exploits einschließlich bislang unbekannter Schwachstellen in zahlreichen gut abgesicherten realen Systemen identifizieren und bauen kann. Dieselbe Einstufung greift auch, wenn ein Modell allein anhand eines groben Ziels einen vollständigen Cyberangriff auf ein System planen und durchführen könnte.
Die Tests an Astra laufen laut OpenAI weiter. Erste Ergebnisse seien zwar nicht abschließend, aber deutlich genug, so dass sich eine kritische Einstufung derzeit nicht ausschließen lasse. Mit dem kürzlichen Sicherheitsvorfall bei Hugging Face habe Astra nichts zu tun, betonte das Unternehmen.
Schärfere Sicherheitskontrollen
Als Reaktion weitete OpenAI die internen Sicherheitstests aus. Dazu gehören isolierte Testumgebungen, strengere Beschränkungen beim Zugriff auf Netzwerke und Werkzeuge, ein besserer Schutz der Modellgewichte sowie eine engmaschigere Überwachung des Modellverhaltens bei eigenständig ausgeführten Aufgaben.
Dem Blogbericht zufolge wurde ein Teil der internen Arbeit an Astra dort pausiert, wo die neuen Sicherheitsanforderungen noch nicht erfüllt sind. OpenAI erklärt zudem, sämtliche agentischen Einsätze des Modells würden inzwischen überwacht, auch während dem Training und der Auswertung. Automatisierte Prüfungen der Modell-Reasoning-Prozesse können als riskant eingestufte Aktivitäten unterbrechen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.