Rassistischer Chat-Bot: Microsoft hat Twitter unterschätzt

Nutzer sollten mit der KI Tay chatten, Microsoft wollte aus den Konversationen lernen - und hat dabei nach eigenen Angaben unterschätzt, dass die Twitter-Gemeinde eine Schwachstelle des Programms ausnutzen könnte. Ob Tay wieder online gehen wird, ist noch unklar.

Artikel veröffentlicht am ,
Tay bleibt vorerst offline.
Tay bleibt vorerst offline. (Bild: Microsoft)

Microsoft hat sich zur Abschaltung seiner Chat-KI Tay geäußert. Tay ging am 23. März 2016 unter anderem auf Twitter online, nur um bereits am Folgetag wieder offline genommen zu werden. Grund waren eine Vielzahl von rassistischen, frauenfeindlichen und homophoben Tweets, die Tay auf Twitter gepostet hatte.

Schwachstelle führte zu beleidigenden Tweets

Stellenmarkt
  1. Manager Data Protection Coordination (m/w/d)
    ALDI International Services SE & Co. oHG, Mülheim
  2. Mitarbeiter im Bereich Finanzservice (m/w/d)
    Kommunales Rechenzentrum Minden-Ravensberg/Lippe, Lemgo
Detailsuche

Grund dafür war eine Schwachstelle in der Programmierung, die Microsoft zufolge gezielt von einer Gruppe von Nutzern auf Twitter ausgenutzt worden sei. Aufgrund dieser Attacke hatte Tay "unpassende und verwerfliche" Texte und Bilder gepostet. Wie genau die Schwachstelle ausgenutzt werden konnte, erklärt Microsoft nicht.

Am Tag der Abschaltung von Tay berichteten einige Medien, dass es offenbar möglich war, Tay gezielt Tweets wiederholen zu lassen. Dies dürfte die von Microsoft beschriebene Schwachstelle in der Programmierung sein. Unklar ist, wieso Tay daraufhin offenbar eigenständig beleidigende Tweets verfassen konnte.

Grund für Angreifbarkeit ist noch nicht bekannt

Microsoft übernimmt die volle Verantwortung, die Programmierschwäche im Vorfeld nicht erkannt zu haben. Offenbar hat das Unternehmen die Twitter-Gemeinde unterschätzt. Bei Microsofts erstem Chatbot - dem in China gestarteten Xiaolce - sind keine derartigen Probleme bekannt. Momentan versucht Microsoft noch herauszufinden, wie genau es zu der Angreifbarkeit von Tay kommen konnte.

Golem Akademie
  1. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    21.–25. Februar 2022, Virtuell
  2. Linux-Shellprogrammierung: virtueller Vier-Tage-Workshop
    8.–11. März 2022, Virtuell
Weitere IT-Trainings

Tay soll Microsoft zufolge solange offline bleiben, bis sich das Unternehmen bei einer erneuten Aktivierung sicher sein kann, dass es nicht erneut zu derartigen Probleme kommen wird. Wann dies sein wird, lässt Microsoft offen - von den Problemen mit Tay will der Hersteller aber für die Arbeit an künftigen AI-Projekten lernen.

Nachtrag vom 30. März 2016, 11:29 Uhr

Offenbar hatte Microsoft Tay in den Morgenstunden des 30. März 2016 wieder auf Twitter reaktiviert. Nachdem der Chat-Bot jedoch hauptsächlich die Nachricht "Du bist zu schnell, bitte ruh dich aus" tweetete, ist das Konto mittlerweile wieder gesperrt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Kleba 31. Mär 2016

Danke für den Tipp! Hab zwar etwas mehr als 1h gebraucht, aber hat sicht gelohnt...

Dwalinn 30. Mär 2016

Super die KI löscht die Menschen aus und kurze zeit später schlägt ein Meteorit auf die...

Hotohori 30. Mär 2016

Ist halt die Frage was MS da genau mit so einem Bot im Hintergrund testet, kann ja auch...

Hotohori 30. Mär 2016

Eben, wie viele Menschen haben zu Dingen eine Meinung, die sie noch nie selbst...

SvenMeyer 30. Mär 2016

Ich denke, weil es eben kein "normales Program" war, bei dem ja quasi alles explizit...



Aktuell auf der Startseite von Golem.de
Bundesservice Telekommunikation
Schlecht getarnte Tarnorganisation praktisch enttarnt

Inzwischen ist offensichtlich, dass der Bundesservice Telekommunikation zum Bundesamt für Verfassungsschutz gehört.

Bundesservice Telekommunikation: Schlecht getarnte Tarnorganisation praktisch enttarnt
Artikel
  1. Digitalisierung: 500-Euro-Laptops für Lehrer leistungsfähig und gut nutzbar
    Digitalisierung
    500-Euro-Laptops für Lehrer "leistungsfähig und gut nutzbar"

    Das Land NRW hat seine Lehrkräfte mit Dienst-Laptops ausgestattet. Doch diese äußern deutliche Kritik und verwenden wohl weiter private Geräte.

  2. Volkswagen Payments: VW entlässt Mitarbeiter wohl wegen Cybersicherheits-Bedenken
    Volkswagen Payments
    VW entlässt Mitarbeiter wohl wegen Cybersicherheits-Bedenken

    Volkswagen entlässt einem Bericht nach einen Mitarbeiter, nachdem dieser Bedenken hinsichtlich der Cybersicherheit von Volkswagen Payments äußerte.

  3. Frequenzen: Bundesnetzagentur erfüllt Forderungen der Mobilfunkkonzerne
    Frequenzen
    Bundesnetzagentur erfüllt Forderungen der Mobilfunkkonzerne

    Jochen Homann könnte vor seinem Ruhestand noch einmal Vodafone, Deutsche Telekom und Telefónica erfreuen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3080 Ti 12GB 1.699€ • Intel i9-10900K 444,88€ • Huawei Curved Gaming-Monitor 27" 299€ • Hisense-TVs zu Bestpreisen (u. a. 55" OLED 739€) • RX 6900 1.449€ • MindStar (u.a. Intel i7-10700KF 279€) • 4 Blu-rays für 22€ • LG OLED (2021) 77 Zoll 120Hz 2.799€ [Werbung]
    •  /