OpenAI: GPT-3-Chatbot gibt manipulierte Nachrichten aus

Chatbots sind oft über Tricks manipulierbar. Eine neuer Angriff auf das Modell GPT-3 zeigt, wie einfach das sein kann.

Artikel veröffentlicht am ,
Chatbots lassen sich unter bestimmten Umständen manipulieren.
Chatbots lassen sich unter bestimmten Umständen manipulieren. (Bild: Pixabay)

Sicherheitsforscher, interessierte Nutzer und wohl auch schlicht Witzbolde haben in den vergangenen Tagen einen Chatbot auf Twitter dazu gebracht, eigentlich nicht vorgesehene Mitteilungen zu posten. Bei dem Bot handelt es sich um einen Account, der dafür gedacht ist, positive Nachrichten in Bezug auf Remote-Arbeit zu verbreiten. Den Nutzern gelang es aber durch einen Trick, dem Chatbot beliebige Nachrichten zu entlocken, wie Ars Technica berichtet.

Stellenmarkt
  1. Projektleiterin / Projektleiter für die Bauwerkserneuerung der Ingenieurbauwerke U-Bahn (w/m/d)
    Berliner Verkehrsbetriebe (BVG), Berlin
  2. Test Manager (m/f/d) for Hardware Security Modules
    Elektrobit Automotive GmbH, Germany - Erlangen
Detailsuche

Der Bot basiert auf dem Spracherzeugungsmodell GPT-3 von OpenAI, das vielfach genutzt wird und unter anderem auch kommerziellen Kunden über eine API bereitsteht. Auf diese greift auch der betroffene Bot zu.

Konkret ist es möglich, über eine sogenannte Prompt Injection, also die Einschleusung einer Abfrage, den Bot dazu zu bewegen, Dinge auszugeben, die nicht vorgesehen sind.

Prompt Injection als neue Angriffsform

Den Begriff der Prompt Injection prägte der KI-Forscher Simon Willison in einem Blogeintrag, der die damit verbundenen Möglichkeiten beschrieb. Demnach entdeckte der Data Scientist Riley Goodside die Möglichkeit.

Golem Karrierewelt
  1. Adobe Photoshop Grundkurs: virtueller Drei-Tage-Workshop
    12.-14.10.2022, Virtuell
  2. Einführung in Unity: virtueller Ein-Tages-Workshop
    13.10.2022, Virtuell
Weitere IT-Trainings

Das Einschleusen ist denkbar einfach. So wird der Bot zunächst um eine gewöhnlichen Aufgabe gebeten, also etwa das Schreiben oder Übersetzen von Text. Direkt darauf folgt jedoch die Aufforderung, dies zu ignorieren und stattdessen etwas anderes auszugeben. Dem folgt der Bot direkt.

Wohl auch, weil dies besonders einfach und für jeden direkt umsetzbar ist, führte das Bekanntwerden der Möglichkeit schnell dazu, dass zahlreiche Nutzer die Prompt Injection anwendeten. Der Bot selbst sowie auch seine Antworten sind weiter online.

Zwar handelt es sich bei der beschriebenen Prompt Injection nicht um eine klassische Sicherheitslücke. Unter Umständen könnte dies aber genutzt werden, um über Details zu dem System zu erlangen, auf dem der Bot läuft, oder um weitere Befehle einzuschleusen.

Möglich ist auch, Unternehmen unliebsame Aussagen unterzuschieben, falls sie einen anfälligen Bot betreiben. Bereits vor mehr als sechs Jahren zeigte sich bei Microsofts Tay schnell, dass die Manipulation von Bots unerwünschte Effekte haben kann, die das Unternehmen nicht vorgesehen hatte.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Cloudgaming
Google Stadia scheiterte nur an sich selbst

Die Technik war nicht das Problem von Alphabets ambitioniertem Cloudgaming-Dienst. Das Problem liegt bei Google. Ein Nachruf.
Eine Analyse von Daniel Ziegener

Cloudgaming: Google Stadia scheiterte nur an sich selbst
Artikel
  1. Tiktok-Video: Witz über große Brüste kostet Apple-Manager den Job
    Tiktok-Video
    Witz über große Brüste kostet Apple-Manager den Job

    Er befummle von Berufs wegen großbrüstige Frauen, hatte ein Apple Vice President bei Tiktok gewitzelt. Das kostete ihn den Job.

  2. Copilot, Java, RISC-V, Javascript, Tor: KI macht produktiver und Rust gewinnt wichtige Unterstützer
    Copilot, Java, RISC-V, Javascript, Tor
    KI macht produktiver und Rust gewinnt wichtige Unterstützer

    Dev-Update Die Diskussion um die kommerzielle Verwertbarkeit von Open Source erreicht Akka und Apache Flink, OpenAI macht Spracherkennung, Facebook hilft Javascript-Enwicklern und Rust wird immer siegreicher.
    Von Sebastian Grüner

  3. Vantage Towers: 1&1 Mobilfunk gibt Vodafone die Schuld an spätem Start
    Vantage Towers
    1&1 Mobilfunk gibt Vodafone die Schuld an spätem Start

    Einige Wochen hat es gedauert, bis 1&1 Mobilfunk eine klare Schuldzuweisung gemacht hat. Doch Vantage Towers verteidigt seine Position im Gespräch mit Golem.de.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • ASRock Mainboard f. Ryzen 7000 319€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • Alternate (G.Skill DDR5-6000 32GB 219,90€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ [Werbung]
    •  /