Abo
  • Services:

Deep Learning: Trainierte Modelle verraten private Informationen

Angreifer können aus bereits trainierten Deep-Learning-Modellen private und sicherheitskritische Informationen extrahieren. Das funktioniert besonders gut mit kurzem Text, zeigt eine Forschungsarbeit der UC Berkeley.

Artikel veröffentlicht am ,
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden.
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden. (Bild: frankieleon, flickr.com/CC-BY 2.0)

In der Vergangenheit haben unterschiedliche Angriffe auf maschinelles Lernen unter anderem über die Manipulation der Trainingsdaten oder des Trainings selbst funktioniert. Ein Team aus Forschern der UC Berkeley und weiteren Wissenschaftlern, etwa von Google Brain, zeigen nun, dass sich auch bereits trainierte Modelle für Angriffe eignen können und dies etwa genutzt werden kann, um private Informationen zu extrahieren.

Stellenmarkt
  1. Hays AG, Frankfurt am Main
  2. DGQ Service GmbH über Dr. Heimeier & Partner Management- und Personalberatung GmbH, Frankfurt am Main

Möglich ist das über einen von dem Team beobachteten Prozess, den sie als "unintended memorization" bezeichnen. Das heißt, das Modell merkt sich bestimmte spezifische Informationen, ohne dass das von den Erstellern der Modelle beim Training beabsichtigt gewesen ist. Der Hauptautor der Untersuchung, Nicholas Carlini, sagte dem britischen Magazin The Register dazu, dass das Team "bis jetzt nicht wirklich weiß, warum neuronale Netzwerke sich diese Geheimnisse merken".

Es könne letztlich aber daran liegen, dass bestimmte Modelle dann besonders gut funktionieren, wenn deren Training mit sich oft wiederholenden Daten durchgeführt wird. Und das machen sich die Forscher in ihrer Arbeit zunutze, indem für einen Angriff gezielt nach eben diesen Informationen gesucht wird. Hilfreich sei hier auch, dass trainierte Modelle mit bekannten Daten sicherer Ergebnisse produzieren als mit unbekannten Eingabedaten zur Anwendung des Modells, so die Forscher.

Gleichförmige Daten helfen Angreifern

Für die Forschungsarbeit hat das Team zunächst selbst Modelle trainiert, etwa auf Grundlage des Enron-Corpus, in dessen unredigierter Fassung private Daten wie Kreditkartendaten oder Sozialversicherungsnummern enthalten sind. Aufbauend auf der beschriebenen Idee sind dann verschiedene Suchalgorithmen entstanden und genutzt worden, um diese Informationen bei einem sogenannten Black-Box-Zugriff herauszufiltern.

Dem Team ist es so gelungen, in unter einer Stunde drei private Datensätze zu extrahieren. Besonders nützlich für das von dem Team beschriebene Vorgehen ist dabei, dass die Kreditkarten- und Sozialversicherungsnummern einem bestimmten, relativ einfachen Muster folgen und vergleichsweise kurz sind. Damit dies funktioniert, müssten mit dem Modell darüber hinaus möglichst viele Ausgaben beobachtet werden können, sagte der Forscher Carlini zu The Register.

Schwierig bis unmöglich sei der beschriebene Angriff jedoch bei anderen Daten mit deutlich größerer Entropie, was zum Beispiel bei Bildern der Fall ist. Als Vorkehrungen gegen die gezeigten Angriffsmöglichkeiten empfiehlt das Team, private Daten nicht zu erheben oder zumindest vor dem Training zu entfernen, was aber nicht immer möglich und auch nicht immer zuverlässig sei. Das Konzept Differential Privacy helfe aber gut gegen die gezeigten Angriffe.



Anzeige
Top-Angebote
  1. jetzt bis zum 28.06. direkt bei Apple bestellen und die 0% Raten-Finanzierung erhalten
  2. (u. a. Lost Planet: Extreme Condition für 2,29€ und On Rusty Trails für 2,49€)
  3. 131,98€ (beide Artikel in den Warenkorb legen, um 60€ Direktabzug zu erhalten. Einzelpreise im...
  4. 172,98€ (beide Artikel in den Warenkorb legen, um 60€ Direktabzug zu erhalten. Einzelpreise im...

Bruto 03. Mär 2018

Naja, beim Großhändler deiner Wahl. Und der haut erst mal alle Daten die er hat in sein...

Kleba 03. Mär 2018

Naja, ich finde es schon in Ordnung. Manche News sind halt tatsächlich nur ein...


Folgen Sie uns
       


Street Fighter 30th Anniversary Collection - Live

Die Spezialmanöver Ha-Do-Ken und Sho-Ryu-Ken sind tief in den Gehirnen von Beat'em-up-Fans verankert. Im Livestream holt sie Golem.de-Redakteur Michael Wieczorek hervor und wird versuchen, sie mit dem neuen Arcade Stick von Lioncast für die Konsole umzusetzen.

Street Fighter 30th Anniversary Collection - Live Video aufrufen
Gemini PDA im Test: 2004 ist nicht 2018
Gemini PDA im Test
2004 ist nicht 2018

Knapp über ein Jahr nach der erfolgreichen Finanzierung hat das Startup Planet Computers mit der Auslieferung seines Gemini PDA begonnen. Die Tastatur ist gewöhnungsbedürftig, längere Texte lassen sich aber mit Geduld durchaus damit tippen. Die Frage ist: Brauchen wir heute noch einen PDA?
Ein Test von Tobias Költzsch und Sebastian Grüner

  1. Atom Wasserfestes Mini-Smartphone binnen einer Minute finanziert
  2. Librem 5 Freies Linux-Smartphone wird größer und kantig
  3. Smartphone-Verkäufe Xiaomi erobert Platz vier hinter Huawei, Apple und Samsung

Sony: Ein Kuss und viele Tode
Sony
Ein Kuss und viele Tode

E3 2018 Mit einem zärtlichen Moment in The Last of Us 2 hat Sony sein Media Briefing eröffnet - danach gab es teils blutrünstiges Gameplay plus Rätselraten um Death Stranding von Hideo Kojima.
Ein Bericht von Peter Steinlechner

  1. Smach Z ausprobiert Neuer Blick auf das Handheld für PC-Spieler
  2. The Division 2 angespielt Action rund um Air Force One
  3. Ghost of Tsushima Dynamischer Match im offenen Japan

Windows 10: Der April-2018-Update-Scherz
Windows 10
Der April-2018-Update-Scherz

Microsofts April-2018-Update für Windows 10 hat so viele Fehler, als würden drei Insider-Ringe nicht ausreichen. Das Unternehmen setzt seine Nutzer als Betatester ein und reagiert dann auch noch langsam auf Fehlermeldungen - das muss sich ändern.
Ein IMHO von Oliver Nickel

  1. Gesperrter Lockscreen Cortana-Fehler ermöglicht Codeausführung
  2. Microsoft Weitere Umstrukturierungen rund um Windows 10
  3. April 2018 Update Windows-Patch macht Probleme bei Intel- und Toshiba-SSDs

    •  /