Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. buttinette Textil-Versandhaus GmbH, Wertingen
  2. Alfred Kärcher SE & Co. KG, Winnenden bei Stuttgart

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Top-Angebote
  1. 399€ + 5,99€ Versand oder versandkostenfrei bei Zahlung mit paydirekt oder 25€ Extra-Rabatt...
  2. 7,99€
  3. 3,89€

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Asus ROG Phone - Hands On auf der Computex 2018

Das ROG ist ein interessantes Konzept, das sich schon beim an Gamer gerichteten Design von anderen Telefonen unterscheidet. Außergewöhnlich sind die vielen Zubehörteile: darunter ein Handheld-Adapter, ein Desktop-Dock, ein Anstecklüfter und ein Controllermodul. Wir haben es uns angeschaut.

Asus ROG Phone - Hands On auf der Computex 2018 Video aufrufen
Always Connected PCs im Test: Das kann Windows 10 on Snapdragon
Always Connected PCs im Test
Das kann Windows 10 on Snapdragon

Noch keine Konkurrenz für x86-Notebooks: Die Convertibles mit Snapdragon-Chip und Windows 10 on ARM sind flott, haben LTE integriert und eine extrem lange Akkulaufzeit. Der App- und der Treiber-Support ist im Alltag teils ein Manko, aber nur eins der bisherigen Geräte überzeugt uns.
Ein Test von Marc Sauter und Oliver Nickel

  1. Qualcomm "Wir entwickeln dediziertes Silizium für Laptops"
  2. Windows 10 on ARM Microsoft plant 64-Bit-Support ab Mai 2018
  3. Always Connected PCs Vielversprechender Windows-RT-Nachfolger mit Fragezeichen

Krankenversicherung: Der Papierkrieg geht weiter
Krankenversicherung
Der Papierkrieg geht weiter

Die Krankenversicherung der Zukunft wird digital und direkt, aber eine tiefgreifende Disruption des Gesundheitswesens à la Amazon wird in Deutschland wohl ausbleiben. Die Beharrungskräfte sind zu groß.
Eine Analyse von Daniel Fallenstein

  1. Imagen Tech KI-System Osteodetect erkennt Knochenbrüche
  2. Medizintechnik Implantat wird per Ultraschall programmiert
  3. Telemedizin Neue Patienten für die Onlinepraxis

Raumfahrt: Großbritannien will wieder in den Weltraum
Raumfahrt
Großbritannien will wieder in den Weltraum

Die Briten wollen eigene Raketen bauen und von Großbritannien aus starten. Ein Teil des Geldes dafür kommt auch von Investoren und staatlichen Investitionsfonds aus Deutschland.
Von Frank Wunderlich-Pfeiffer

  1. Esa Sonnensystemforschung ohne Plutonium
  2. Jaxa Japanische Sonde Hayabusa 2 erreicht den Asteroiden Ryugu
  3. Mission Horizons @Astro_Alex fliegt wieder

    •  /