Abo
  • IT-Karriere:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Cegeka Deutschland GmbH, Flughafen Frankfurt
  2. EUROIMMUN AG, Dassow

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Top-Angebote
  1. (aktuell u. a. AMD Ryzen 7 2700X + Corsair H115i Pro für 369€ statt ca. 414€ im Vergleich...
  2. 39€ (Bestpreis!)
  3. 29,99€ (Bestpreis!)
  4. 44,90€ + Versand (Vergleichspreis 63,39€)

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Timex Data Link ausprobiert

Die Data Link wurde von Timex und Microsoft entwickelt und ist eine der ersten Smartwatches. Anlässlich des 25-jährigen Jubiläums haben wir uns die Uhr genauer angeschaut - und über einen alten PC mit Röhrenmonitor programmiert.

Timex Data Link ausprobiert Video aufrufen
Mobile-Games-Auslese: Magischer Dieb trifft mogelnden Doktor
Mobile-Games-Auslese
Magischer Dieb trifft mogelnden Doktor

Ein Dieb mit Dolch in Daggerhood, dazu ein (historisch verbürgter) Arzt in Astrologaster sowie wunderschön aufbereitetes Free-to-Play-Mittelalter in Marginalia Hero: Golem.de stellt die spannendsten neuen Mobile Games vor.
Von Rainer Sigl

  1. Hyper Casual Games 30 Sekunden spielen, 30 Sekunden Werbung
  2. Mobile-Games-Auslese Rollenspiel-Frühling mit leichten Schusswechseln
  3. Gaming Apple Arcade wird Spiele-Flatrate für iOS und MacOS

Autonomes Fahren: Per Fernsteuerung durch die Baustelle
Autonomes Fahren
Per Fernsteuerung durch die Baustelle

Was passiert, wenn autonome Autos in einer Verkehrssituation nicht mehr weiterwissen? Ein Berliner Fraunhofer-Institut hat dazu eine sehr datensparsame Fernsteuerung entwickelt. Doch es wird auch vor der Technik gewarnt.
Ein Bericht von Friedhelm Greis

  1. Neues Geschäftsfeld Huawei soll an autonomen Autos arbeiten
  2. Taxifahrzeug Volvo baut für Uber Basis eines autonomen Autos
  3. Autonomes Fahren Halter sollen bei Hackerangriffen auf Autos haften

Final Fantasy 7 Remake angespielt: Cloud Strife und die (fast) unendliche Geschichte
Final Fantasy 7 Remake angespielt
Cloud Strife und die (fast) unendliche Geschichte

E3 2019 Das Remake von Final Fantasy 7 wird ein Riesenprojekt, allein die erste Episode erscheint auf zwei Blu-ray-Discs. Kurios: In wie viele Folgen das bereits enorm umfangreiche Original von 1997 aufgeteilt wird, kann bislang nicht mal der Producer sagen.

  1. Final Fantasy 14 Online Report Zwischen Cosplay, Kirmes und Kampfsystem
  2. Square Enix Final Fantasy 14 erhält Solo-Inhalte und besonderen Magier
  3. Rollenspiel Square Enix streicht Erweiterungen für Final Fantasy 15

    •  /