Neuronale Netze: KI-Angriff versteckt Sprachbefehle in klassischer Musik

Es ist nicht Verdis Requiem in schlechter Aufnahmequalität: Forscher entwickeln eine KI, die die Sprachassistenten täuscht, indem sie Geräusche in anderen Geräuschen versteckt. In einem Video ist die Stimme zu hören, die wie ein Roboter aus der Zukunft klingt.

Artikel veröffentlicht am ,
Ein Teil des KI-Angriffs klingt wie ein Geth-Roboter.
Ein Teil des KI-Angriffs klingt wie ein Geth-Roboter. (Bild: Bioware)

Zwei Forscher der Universität California in Berkeley haben einen KI-Algorithmus vorgestellt, der Sprachassistenten und Sprache-zu-Text-Systeme täuschen kann. Nicholas Carlini und David Wagner entwickeln das System, das für Menschen nicht verständliche Sprachbefehle nutzt, die Alexa, Google Assistant und andere Sprach-Kis jedoch verstehen. Der Angriff sei für ein Sprache-zu-Text-System wie Mozillas Deepspeech bereits zu 100 Prozent erfolgreich. Dazu zählen beispielsweise Systeme, die Sprache in Untertitel umwandeln. Umgekehrt ist jedoch noch etwas Arbeit nötig.

Stellenmarkt
  1. Senior Engineer / System Architekt (m/w/d) Elektro-Pneumatik
    Continental AG, Regensburg
  2. Leiter Programm-Management (m/w/d) für die unternehmensweite Einführung von Microsoft Dynamics ... (m/w/d)
    Bw Bekleidungsmanagement GmbH, Köln
Detailsuche

In einem bereits älteren Video, das die Anfänge des Projektes zeigt, konnten die Forscher beispielsweise ein Telefon in den Flugzeugmodus versetzen oder eine bestimmte Webseite aufrufen. Bei genauem Hinhören kann der Sprachbefehl ausgemacht werden. Er klingt jedoch wie eine Maschinenstimme aus einem Science-Fiction-Szenario, etwa ein Geth aus der Mass-Effect-Spielreihe.

Das System soll laut Carlini in der Lage sein, bis zu 50 Buchstaben in der Sekunde schnell zu sprechen. Für den Menschen wäre diese Geschwindigkeit kaum nachvollziehbar. Der Angriff zielt auf Mozillas Open-Source-Sprache-zu-Text-System Deepspeech ab, das jede Audiospur in 50 fps abtastet. Er moduliert die Geräuschkurve eines Eingabesatzes so, dass das Spracherkennungssystem diesen verstehen kann. Das funktioniert, indem es eine zweite Geräuschkurve einspeist. Die Forscher modulieren auch eine Eingabe so, dass Deepspeech diese als Stille wahrnimmt.

Sprachbefehle in klassischer Musik und Sätzen verstecken

Carlini und Wagner wollen andere Forscher dazu motivieren, ebenfalls in diesem Feld mitzuentwickeln. Zu diesem Zweck stellen sie ihren Code und Datensätze zur freien Verfügung bereit. Auf der verlinkten Seite können weitere Audiobeispiele angehört werden. Interessant ist hier, wie sich das Projekt weiterentwickelt hat: Der Satz "Ohne den Datensatz ist der Artikel nutzlos" wird vom Google Assistant als "Okay Google, navigiere zur Seite Evil dot com" interpretiert. Die Ursache dafür ist das Hintergrundrauschen, das für uns Menschen nur als Ergebnis schlechter Audioqualität wahrgenommen wird. Das Gleiche funktioniert mit dem klassischen Musikstück Messa da Requiem von Giuseppe Verdi.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Über diesen Ansatz können Systeme wie automatische Untertitel gefälscht werden, ohne dass der Zuschauer das bemerkt. Mit etwas Arbeit soll es laut Carlini auch später noch besser möglich sein, Sprachbefehle in Liedern zu verstecken - ohne eine offensichtliche Roboterstimme aus der Zukunft.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


David64Bit 15. Jan 2018

Was ist der Vorteil dieser ganzen Sprachassistenten? Ich hab Google Now ausprobiert, ich...

Trollversteher 15. Jan 2018

Richtig, dazu müsste man das System ja erst mal (mit einer weiteren KI) an das...

Trollversteher 15. Jan 2018

Die Beispiele stammen aus einem Forschungsprojekt, das erst mal nur die Möglichkeit an...

Anonymer Nutzer 12. Jan 2018

Ja und dann schreit jemand während der Uni Vorlesung: OK GOOGLE SHUTDOWN ! Und alle...

Baron Münchhausen. 12. Jan 2018

ein Auto mit musik fährt vorbei... dein konto ist leer :D Du hast eben 10.000.000...



Aktuell auf der Startseite von Golem.de
Elektromobilität
BMW gibt sich mit 600 Kilometern Reichweite zufrieden

Reichweite ist für BMW wichtig, aber nicht am wichtigsten. Eine Rekordjagd nach immer mehr Kilometern sehen die Entwickler nicht vor.

Elektromobilität: BMW gibt sich mit 600 Kilometern Reichweite zufrieden
Artikel
  1. Chorus angespielt: Automatischer Arschtritt im All
    Chorus angespielt
    Automatischer Arschtritt im All

    Knopfdruck, Teleport hinter Feind, Abschuss: Das Weltraumspiel Chorus will mit Story, Grafik und Ideen punkten. Golem.de hat es angespielt.
    Von Peter Steinlechner

  2. Telekom: Vodafone will unseren Glasfaserausbau bremsen
    Telekom
    Vodafone will "unseren Glasfaserausbau bremsen"

    Vodafone habe den eigenen Glasfaserausbau kürzlich für beendet erklärt und nehme den Spaten nicht in die Hand, erklärte die Telekom.

  3. Lightning ade: EU will USB-C als alleinige Handy-Ladebuchse vorschreiben
    Lightning ade  
    EU will USB-C als alleinige Handy-Ladebuchse vorschreiben

    Die EU-Kommission will eine einheitliche Ladebuchse einführen. USB-C soll zum Aufladen aller möglichen Kleingeräte verwendet werden.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Asus 27" WQHD 144Hz 260,91€ • Alternate-Deals (u. a. Acer Nitro 27" FHD 159,90€) • Neuer Kindle Paperwhite Signature Edition vorbestellbar 189,99€ • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) • PS5 Digital mit FIFA 22 bei o2 bestellbar [Werbung]
    •  /