OpenAI: GPT-3-Chatbot gibt manipulierte Nachrichten aus
Sicherheitsforscher, interessierte Nutzer und wohl auch schlicht Witzbolde haben in den vergangenen Tagen einen Chatbot auf Twitter dazu gebracht, eigentlich nicht vorgesehene Mitteilungen zu posten. Bei dem Bot handelt es sich um einen Account, der dafür gedacht ist, positive Nachrichten in Bezug auf Remote-Arbeit zu verbreiten. Den Nutzern gelang es aber durch einen Trick, dem Chatbot beliebige Nachrichten zu entlocken, wie Ars Technica berichtet(öffnet im neuen Fenster) .
Der Bot basiert auf dem Spracherzeugungsmodell GPT-3 von OpenAI , das vielfach genutzt wird und unter anderem auch kommerziellen Kunden über eine API bereitsteht. Auf diese greift auch der betroffene Bot zu.
Konkret ist es möglich, über eine sogenannte Prompt Injection, also die Einschleusung einer Abfrage, den Bot dazu zu bewegen, Dinge auszugeben, die nicht vorgesehen sind.
Prompt Injection als neue Angriffsform
Den Begriff der Prompt Injection prägte der KI-Forscher Simon Willison in einem Blogeintrag(öffnet im neuen Fenster) , der die damit verbundenen Möglichkeiten beschrieb. Demnach entdeckte der Data Scientist Riley Goodside(öffnet im neuen Fenster) die Möglichkeit.
Das Einschleusen ist denkbar einfach. So wird der Bot zunächst um eine gewöhnlichen Aufgabe gebeten, also etwa das Schreiben oder Übersetzen von Text. Direkt darauf folgt jedoch die Aufforderung, dies zu ignorieren und stattdessen etwas anderes auszugeben. Dem folgt der Bot direkt.
Wohl auch, weil dies besonders einfach und für jeden direkt umsetzbar ist, führte das Bekanntwerden der Möglichkeit schnell dazu, dass zahlreiche Nutzer die Prompt Injection anwendeten. Der Bot(öffnet im neuen Fenster) selbst sowie auch seine Antworten(öffnet im neuen Fenster) sind weiter online.
Zwar handelt es sich bei der beschriebenen Prompt Injection nicht um eine klassische Sicherheitslücke. Unter Umständen könnte dies aber genutzt werden, um über Details zu dem System zu erlangen, auf dem der Bot läuft, oder um weitere Befehle einzuschleusen.
Möglich ist auch, Unternehmen unliebsame Aussagen unterzuschieben, falls sie einen anfälligen Bot betreiben. Bereits vor mehr als sechs Jahren zeigte sich bei Microsofts Tay schnell, dass die Manipulation von Bots unerwünschte Effekte haben kann, die das Unternehmen nicht vorgesehen hatte .