Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Lidl Digital, Neckarsulm
  2. Hays AG, Frankfurt

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Top-Angebote
  1. 79,90€ + 5,99€ Versand (Vergleichspreis ca. 116€)
  2. 55,11€ (Bestpreis!)
  3. (aktuell u. a. Seagate Expansion+ Desktop 4 TB für 88€, Seagate Backup Plus Hub 6 TB für...
  4. 17,49€

Bigfoo29 28. Mär 2018 / Themenstart

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018 / Themenstart

kwt? nice troll ;)

MarioWario 23. Mär 2018 / Themenstart

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.

Kommentieren


Folgen Sie uns
       


LG Display CSO light angesehen (Light Building 2018)

Auf der Light + Building 2018 zeigt LG Display Licht, das auch Ton produziert.

LG Display CSO light angesehen (Light Building 2018) Video aufrufen
Dell XPS 13 (9370) im Test: Sehr gut ist nicht besser
Dell XPS 13 (9370) im Test
Sehr gut ist nicht besser

Mit dem XPS 13 (9370) hat Dell sein bisher exzellentes Ultrabook in nahezu allen Bereichen überarbeitet - und es teilweise verschlechtert. Der Akku etwa ist kleiner, das spiegelnde Display nervt. Dafür überzeugen die USB-C-Ports, die Kühlung sowie die Tastatur, und die Webcam wurde sinnvoller.
Ein Test von Marc Sauter und Sebastian Grüner

  1. Ultrabook Dell hat das XPS 13 ruiniert
  2. XPS 13 (9370) Dells Ultrabook wird dünner und läuft kürzer
  3. Ultrabook Dell aktualisiert XPS 13 mit Quadcore-Chip

Oracle vs. Google: Dieses Urteil darf nicht bleiben
Oracle vs. Google
Dieses Urteil darf nicht bleiben

Im Fall Oracle gegen Google fällt ein eigentlich nicht zuständiges Gericht ein für die IT-Industrie eventuell katastrophales Urteil. Denn es kann zu Urhebertrollen, Innovationsblockaden und noch mehr Milliardenklagen führen. Einzige Auswege: der Supreme Court oder Open Source.
Eine Analyse von Sebastian Grüner

  1. Oracle gegen Google Java-Nutzung in Android kein Fair Use

BeA: Rechtsanwaltsregister wegen Sicherheitslücke abgeschaltet
BeA
Rechtsanwaltsregister wegen Sicherheitslücke abgeschaltet

Das deutsche Rechtsanwaltsregister hat eine schwere Sicherheitslücke. Schuld daran ist eine veraltete Java-Komponente, die für einen Padding-Oracle-Angriff verwundbar ist. Das Rechtsanwaltsregister ist Teil des besonderen elektronischen Anwaltspostfachs, war aber anders als dieses weiterhin online.
Eine Exklusivmeldung von Hanno Böck

  1. BeA Secunet findet noch mehr Lücken im Anwaltspostfach
  2. EGVP Empfangsbestätigungen einer Klage sind verwertbar
  3. BeA Anwälte wollen Ende-zu-Ende-Verschlüsselung einklagen

    •  /