Abo
  • IT-Karriere:

Deep Learning: Trainierte Modelle verraten private Informationen

Angreifer können aus bereits trainierten Deep-Learning-Modellen private und sicherheitskritische Informationen extrahieren. Das funktioniert besonders gut mit kurzem Text, zeigt eine Forschungsarbeit der UC Berkeley.

Artikel veröffentlicht am ,
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden.
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden. (Bild: frankieleon, flickr.com/CC-BY 2.0)

In der Vergangenheit haben unterschiedliche Angriffe auf maschinelles Lernen unter anderem über die Manipulation der Trainingsdaten oder des Trainings selbst funktioniert. Ein Team aus Forschern der UC Berkeley und weiteren Wissenschaftlern, etwa von Google Brain, zeigen nun, dass sich auch bereits trainierte Modelle für Angriffe eignen können und dies etwa genutzt werden kann, um private Informationen zu extrahieren.

Stellenmarkt
  1. Concardis GmbH, Eschborn
  2. BWI GmbH, Bonn

Möglich ist das über einen von dem Team beobachteten Prozess, den sie als "unintended memorization" bezeichnen. Das heißt, das Modell merkt sich bestimmte spezifische Informationen, ohne dass das von den Erstellern der Modelle beim Training beabsichtigt gewesen ist. Der Hauptautor der Untersuchung, Nicholas Carlini, sagte dem britischen Magazin The Register dazu, dass das Team "bis jetzt nicht wirklich weiß, warum neuronale Netzwerke sich diese Geheimnisse merken".

Es könne letztlich aber daran liegen, dass bestimmte Modelle dann besonders gut funktionieren, wenn deren Training mit sich oft wiederholenden Daten durchgeführt wird. Und das machen sich die Forscher in ihrer Arbeit zunutze, indem für einen Angriff gezielt nach eben diesen Informationen gesucht wird. Hilfreich sei hier auch, dass trainierte Modelle mit bekannten Daten sicherer Ergebnisse produzieren als mit unbekannten Eingabedaten zur Anwendung des Modells, so die Forscher.

Gleichförmige Daten helfen Angreifern

Für die Forschungsarbeit hat das Team zunächst selbst Modelle trainiert, etwa auf Grundlage des Enron-Corpus, in dessen unredigierter Fassung private Daten wie Kreditkartendaten oder Sozialversicherungsnummern enthalten sind. Aufbauend auf der beschriebenen Idee sind dann verschiedene Suchalgorithmen entstanden und genutzt worden, um diese Informationen bei einem sogenannten Black-Box-Zugriff herauszufiltern.

Dem Team ist es so gelungen, in unter einer Stunde drei private Datensätze zu extrahieren. Besonders nützlich für das von dem Team beschriebene Vorgehen ist dabei, dass die Kreditkarten- und Sozialversicherungsnummern einem bestimmten, relativ einfachen Muster folgen und vergleichsweise kurz sind. Damit dies funktioniert, müssten mit dem Modell darüber hinaus möglichst viele Ausgaben beobachtet werden können, sagte der Forscher Carlini zu The Register.

Schwierig bis unmöglich sei der beschriebene Angriff jedoch bei anderen Daten mit deutlich größerer Entropie, was zum Beispiel bei Bildern der Fall ist. Als Vorkehrungen gegen die gezeigten Angriffsmöglichkeiten empfiehlt das Team, private Daten nicht zu erheben oder zumindest vor dem Training zu entfernen, was aber nicht immer möglich und auch nicht immer zuverlässig sei. Das Konzept Differential Privacy helfe aber gut gegen die gezeigten Angriffe.



Anzeige
Top-Angebote
  1. 79,00€
  2. 999,00€ + Versand
  3. (u. a. GTA 5 12,49€, GTA Online Cash Card 1,79€)
  4. (aktuell u. a. Dell-Notebook 519€, Dell USB-DVD-Brenner 34,99€)

Bruto 03. Mär 2018

Naja, beim Großhändler deiner Wahl. Und der haut erst mal alle Daten die er hat in sein...

Kleba 03. Mär 2018

Naja, ich finde es schon in Ordnung. Manche News sind halt tatsächlich nur ein...


Folgen Sie uns
       


Honor 20 Pro - Hands on

Das Honor 20 Pro ist das neue Oberklasse-Smartphone der Huawei-Tochter. Als Besonderheit gibt es eine Vierfachkamera, um für möglichst viele Objektivsituationen gewappnet zu sein. Hinweis vom Hersteller: "Bei den gezeigten Geräten der Honor-20-Serie handelt es sich um Demoversionen, die sich in Aussehen und Funktion von der finalen Version unterscheiden können."

Honor 20 Pro - Hands on Video aufrufen
Projektorkauf: Lumen, ANSI und mehr
Projektorkauf
Lumen, ANSI und mehr

Gerade bei Projektoren werden auf Plattformen verschiedener Onlinehändler kuriose Angaben zur Helligkeit beziehungsweise Leuchtstärke gemacht - sofern diese überhaupt angegeben werden. Wir bringen etwas Licht ins Dunkel und beschäftigen uns mit Einheiten rund um das Thema Helligkeit.
Von Mike Wobker


    In eigener Sache: Golem.de bietet Seminar zu TLS an
    In eigener Sache
    Golem.de bietet Seminar zu TLS an

    Der Verschlüsselungsexperte und Golem.de-Redakteur Hanno Böck gibt einen Workshop zum wichtigsten Verschlüsselungsprotokoll im Netz. Am 24. und 25. September klärt er Admins, Pentester und IT-Sicherheitsexperten in Berlin über Funktionsweisen und Gefahren von TLS auf.

    1. In eigener Sache Zweiter Termin für Kubernetes-Seminar
    2. Leserumfrage Wie können wir dich unterstützen?
    3. In eigener Sache Was du schon immer über Kubernetes wissen wolltest

    Endpoint Security: IT-Sicherheit ist ein Cocktail mit vielen Zutaten
    Endpoint Security
    IT-Sicherheit ist ein Cocktail mit vielen Zutaten

    Tausende Geräte in hundert verschiedenen Modellen mit Dutzenden unterschiedlichen Betriebssystemen. Das ist in großen Unternehmen Alltag und stellt alle, die für die IT-Sicherheit zuständig sind, vor Herausforderungen.
    Von Anna Biselli

    1. Datendiebstahl Kundendaten zahlreicher deutscher Firmen offen im Netz
    2. Metro & Dish Tisch-Reservierung auf Google übernehmen
    3. Identitätsdiebstahl SIM-Dieb kommt zehn Jahre in Haft

      •  /