OpenAI: Neues Team soll katastrophale Folgen von KI verhindern
Das Softwareunternehmen OpenAI spezialisiert sich auf die Entwicklung von KI-Applikationen. Sprachgeneratoren wie ChatGPT und Large Language Models wie GPT-4 haben einen großen Einfluss auf die aktuelle Entwicklung in der IT-Branche. Nun gründet das Unternehmen ein neues Team, das sich ausschließlich mit den Risiken von KI beschäftigen soll. "Wir nehmen das volle Spektrum an Sicherheitsrisiken von KI ernst" , schreibt OpenAI in der Ankündigung(öffnet im neuen Fenster) .
Solche Risiken von Pionier-KI-Technologien nicht zu erkennen, kann laut dem Unternehmen katastrophale Folgen haben. Deshalb soll sich das "Preparedness Team" Antworten auf drei essenzielle Fragen erarbeiten: Wie gefährlich sind Pionier-KI-Systeme, wenn sie in Zukunft und Gegenwart missbraucht werden? Wie können Unternehmen ein robustes Framework aufbauen, das die gefährlichen Fähigkeiten von KI evaluieren, voraussehen und davor schützen kann? Und wie könnten böswillige Parteien KI missbrauchen, wenn deren Modellgewichtungen gestohlen würden?
Schutz vor Selbstreplikation
Das neue Preparedness-Team soll vom MIT-Professor und neuen Teamleiter Aleksander Madry angeführt werden. Es soll immer dann zum Einsatz kommen, wenn OpenAI neue Modelle entwickelt oder es sich um Modelle handelt, die das Potenzial zu einer Artificial General Intelligence (AGI) haben. Dabei soll auf diverse Dinge geachtet werden – in Bezug auf Themen wie Cybersecurity oder drastischere Konsequenzen durch Massenvernichtungswaffen oder selbständige Replikation und Anpassung der KI.
Generell soll eine neue Richtlinie entstehen, an die sich OpenAI künftig halten will. Diese Risk-informed Development Policy (RDP) soll auf die genannte Risiken achten und bei Bedarf schützende Maßnahmen einleiten. Sie ist außerdem als Ergänzung zu den bereits existierenden Richtlinien bei OpenAI gedacht. So können Modelle wie ChatGPT beispielsweise mit Absicht einige Aussagen nicht treffen oder ignorieren diese als vom Unternehmen kontrovers angesehene Anfragen.