Deep Learning: Trainierte Modelle verraten private Informationen

Angreifer können aus bereits trainierten Deep-Learning-Modellen private und sicherheitskritische Informationen extrahieren. Das funktioniert besonders gut mit kurzem Text, zeigt eine Forschungsarbeit der UC Berkeley.

Artikel veröffentlicht am ,
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden.
Speichert ein Modell Kreditkartendaten, können diese von Angreifern extrahiert werden. (Bild: frankieleon, flickr.com/CC-BY 2.0)

In der Vergangenheit haben unterschiedliche Angriffe auf maschinelles Lernen unter anderem über die Manipulation der Trainingsdaten oder des Trainings selbst funktioniert. Ein Team aus Forschern der UC Berkeley und weiteren Wissenschaftlern, etwa von Google Brain, zeigen nun, dass sich auch bereits trainierte Modelle für Angriffe eignen können und dies etwa genutzt werden kann, um private Informationen zu extrahieren.

Stellenmarkt
  1. Projektleiter (w/m/d) Robotic Process Automation
    SWK-NOVATEC GmbH, Karlsruhe
  2. Release Manager (m/w/d) Softwarekonfiguration
    Scheidt & Bachmann Fuel Retail Solutions GmbH, Mönchengladbach
Detailsuche

Möglich ist das über einen von dem Team beobachteten Prozess, den sie als "unintended memorization" bezeichnen. Das heißt, das Modell merkt sich bestimmte spezifische Informationen, ohne dass das von den Erstellern der Modelle beim Training beabsichtigt gewesen ist. Der Hauptautor der Untersuchung, Nicholas Carlini, sagte dem britischen Magazin The Register dazu, dass das Team "bis jetzt nicht wirklich weiß, warum neuronale Netzwerke sich diese Geheimnisse merken".

Es könne letztlich aber daran liegen, dass bestimmte Modelle dann besonders gut funktionieren, wenn deren Training mit sich oft wiederholenden Daten durchgeführt wird. Und das machen sich die Forscher in ihrer Arbeit zunutze, indem für einen Angriff gezielt nach eben diesen Informationen gesucht wird. Hilfreich sei hier auch, dass trainierte Modelle mit bekannten Daten sicherer Ergebnisse produzieren als mit unbekannten Eingabedaten zur Anwendung des Modells, so die Forscher.

Gleichförmige Daten helfen Angreifern

Für die Forschungsarbeit hat das Team zunächst selbst Modelle trainiert, etwa auf Grundlage des Enron-Corpus, in dessen unredigierter Fassung private Daten wie Kreditkartendaten oder Sozialversicherungsnummern enthalten sind. Aufbauend auf der beschriebenen Idee sind dann verschiedene Suchalgorithmen entstanden und genutzt worden, um diese Informationen bei einem sogenannten Black-Box-Zugriff herauszufiltern.

Golem Akademie
  1. Penetration Testing Fundamentals
    23.-24. September 2021, online
  2. Linux-Systeme absichern und härten
    8.-10. November 2021, online
  3. Microsoft 365 Security Workshop
    27.-29. Oktober 2021, Online
Weitere IT-Trainings

Dem Team ist es so gelungen, in unter einer Stunde drei private Datensätze zu extrahieren. Besonders nützlich für das von dem Team beschriebene Vorgehen ist dabei, dass die Kreditkarten- und Sozialversicherungsnummern einem bestimmten, relativ einfachen Muster folgen und vergleichsweise kurz sind. Damit dies funktioniert, müssten mit dem Modell darüber hinaus möglichst viele Ausgaben beobachtet werden können, sagte der Forscher Carlini zu The Register.

Schwierig bis unmöglich sei der beschriebene Angriff jedoch bei anderen Daten mit deutlich größerer Entropie, was zum Beispiel bei Bildern der Fall ist. Als Vorkehrungen gegen die gezeigten Angriffsmöglichkeiten empfiehlt das Team, private Daten nicht zu erheben oder zumindest vor dem Training zu entfernen, was aber nicht immer möglich und auch nicht immer zuverlässig sei. Das Konzept Differential Privacy helfe aber gut gegen die gezeigten Angriffe.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Thinkpad E14 Gen3 im Test
Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis

Schon das Thinkpad E14 Gen2 war exzellent, bei der Gen3 aber hat Lenovo die zwei Schwachstellen - Akku und Display - behoben. Bravo!
Ein Test von Marc Sauter

Thinkpad E14 Gen3 im Test: Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis
Artikel
  1. Science-Fiction der Neunziger: Babylon 5 wird neu aufgelegt
    Science-Fiction der Neunziger
    Babylon 5 wird neu aufgelegt

    Die Science-Fiction-Serie Babylon 5 soll neu aufgelegt werden. Ein wichtiger Drehbuchautor des Originals ist mit dabei.

  2. Eine dritte Hand für Netzwerkadministratoren
     
    Eine dritte Hand für Netzwerkadministratoren

    Die Aufgaben von Systemadministratoren werden immer komplexer und vielfältiger. Unterstützung bietet jetzt das Wiener Start-up PATCHBOX mit dem selbst entwickelten Installations-Tool Setup.exe.
    Sponsored Post von Patchbox

  3. Software Defined Silicon: Intel will Xeon-Funktionen als Lizenz-Update verkaufen
    Software Defined Silicon
    Intel will Xeon-Funktionen als Lizenz-Update verkaufen

    Mit dem Software Defined Silicon will Intel in Xeon-Hardware zunächst abgeschaltete Funktionen künftig als Lizenz-Upgrade bereitstellen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Aktion: Win 10-Laptop/PC kaufen, kostenloses Upgrade auf Windows 11 erhalten • Bosch Professional & PC-Spiele von EA günstiger • Alternate (u. a. Asus TUF 23,8" FHD 165Hz 179,90€) • Nur noch heute PS5-Gewinnspiel bei Amazon • 7 Tage Samsung-Angebote [Werbung]
    •  /