Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Dataport, Hamburg
  2. TEXAS INSTRUMENTS Deutschland GmbH, Freising

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Hardware-Angebote
  1. (reduzierte Überstände, Restposten & Co.)

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Apple Watch 4 - Fazit

Die neue Apple Watch bleibt für uns das Maß aller Smartwatch-Dinge.

Apple Watch 4 - Fazit Video aufrufen
Serverless Computing: Mehr Zeit für den Code
Serverless Computing
Mehr Zeit für den Code

Weniger Verwaltungsaufwand und mehr Automatisierung: Viele Entwickler bauen auf fertige Komponenten aus der Cloud, um die eigenen Anwendungen aufzubauen. Beim Serverless Computing verschwinden die benötigten Server unter einer dicken Abstraktionsschicht, was mehr Zeit für den eigenen Code lässt.
Von Valentin Höbel

  1. Kubernetes Cloud Discovery inventarisiert vergessene Cloud-Native-Apps
  2. T-Systems Deutsche Telekom will Cloud-Firmen kaufen
  3. Trotz hoher Gewinne Wieder Stellenabbau bei Microsoft

Interview Alienware: Keiner baut dir einen besseren Gaming-PC als du selbst!
Interview Alienware
"Keiner baut dir einen besseren Gaming-PC als du selbst!"

Selbst bauen oder Komplettsystem kaufen, die Zukunft von Raytracing und was E-Sport-Profis über Hardware denken: Golem.de hat im Interview mit Frank Azor, dem Chef von Alienware, über PC-Gaming gesprochen.
Von Peter Steinlechner

  1. Dell Alienware M15 wird schlanker und läuft 17 Stunden
  2. Dell Intel Core i9 in neuen Alienware-Laptops ab Werk übertaktet

Aufbruch zum Mond: Die schönste Fake-Mondlandung aller Zeiten
Aufbruch zum Mond
Die schönste Fake-Mondlandung aller Zeiten

Hollywood-Romantiker Damien Chazelle (La La Land) möchte sich mit Aufbruch zum Mond der Person Neil Armstrong annähern, fördert dabei aber kaum Spannendes zutage. Atemberaubend sind wie im wahren Leben dagegen Armstrongs erste Schritte auf dem Mond, für die alleine sich ein Kinobesuch sehr lohnt - der Film startet am Donnerstag.
Eine Rezension von Daniel Pook

  1. Solo - A Star Wars Story Gar nicht so solo, dieser Han
  2. The Cleaners Wie soziale Netzwerke ihre Verantwortung outsourcen
  3. Filmkritik Ready Player One Der Videospielfilm mit Nostalgiemacke

    •  /