Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Hessischer Rundfunk Anstalt des öffentlichen Rechts, Frankfurt am Main
  2. Bosch Gruppe, Stuttgart

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Spiele-Angebote
  1. 3,89€
  2. 2,50€
  3. 32,95€
  4. (-8%) 54,99€

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Bewerbungsgespräch mit der KI vom DFKI - Bericht

Wir haben uns beim DFKI in Saarbrücken angesehen, wie das Training von Bewerbungsgesprächen mit einer Künstlichen Intelligenz funktioniert.

Bewerbungsgespräch mit der KI vom DFKI - Bericht Video aufrufen
Windenergie: Mister Windkraft will die Welt vor dem Klimakollaps retten
Windenergie
Mister Windkraft will die Welt vor dem Klimakollaps retten

Fast 200 Windkraft-Patente tragen den Namen von Henrik Stiesdal. Nachdem er bei Siemens als Technikchef ausgestiegen ist, will der Däne nun die Stromerzeugung auf See revolutionieren.
Ein Bericht von Daniel Hautmann

  1. Offshore-Windparks Neue Windräder sollen mehr Strom liefern
  2. Fistuca Der Wasserhammer hämmert leise
  3. Windenergie Wie umweltfreundlich sind Offshore-Windparks?

Trüberbrook im Test: Provinzielles Abenteuer
Trüberbrook im Test
Provinzielles Abenteuer

Neuartiges Produktionsverfahren, prominente Sprecher: Das bereits vor seiner Veröffentlichung für den Deutschen Computerspielpreis nominierte Adventure Trüberbrook bietet trotz solcher Auffälligkeiten nur ein allzu braves Abenteuer in der deutschen Provinz der 60er Jahre.
Von Peter Steinlechner

  1. Quellcode Al Lowe verkauft Disketten mit Larry 1 auf Ebay
  2. Wet Dreams Don't Dry im Test Leisure Suit Larry im Land der Hipster
  3. Life is Strange 2 im Test Interaktiver Road-Movie-Mystery-Thriller

Operation 13: Anonymous wird wieder aktiv
Operation 13
Anonymous wird wieder aktiv

Mehrere Jahre wirkte es, als sei das dezentrale Kollektiv Anonymous in Deutschland eingeschlafen. Doch es bewegt sich etwas, die Aktivisten machen gegen Artikel 13 mobil - auf der Straße wie im Internet.
Von Anna Biselli


      •  /