• IT-Karriere:
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Müller Holding GmbH & Co. KG, Ulm-Jungingen
  2. sunzinet, Köln, Stuttgart, Paderborn

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. 49,00€
  2. 89,00€
  3. 71,71€
  4. (u. a. Asus Zenbook 14 für 1.049,00€, Lenovo Ideapad 330 für 439,00€, MSI Trident 3 für 759...

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Eigene Deep Fakes mit DeepFaceLab - Tutorial

Wir zeigen im Video, wie man mit DeepFaceLab arbeitet.

Eigene Deep Fakes mit DeepFaceLab - Tutorial Video aufrufen
Razer Blade Stealth 13 im Test: Sieg auf ganzer Linie
Razer Blade Stealth 13 im Test
Sieg auf ganzer Linie

Gute Spieleleistung, gute Akkulaufzeit, helles Display und eine exzellente Tastatur: Mit dem Razer Blade Stealth 13 machen Käufer eigentlich kaum einen Fehler - es sei denn, sie kaufen die 4K-Version.
Ein Test von Oliver Nickel

  1. Naga Left-Handed Edition Razer will seine Linkshändermaus wieder anbieten
  2. Junglecat Razer-Controller macht das Smartphone zur Switch
  3. Tartarus Pro Razers Tastenpad hat zwei einstellbare Schaltpunkte

Energiewende: Grüner Wasserstoff aus der Zinnschmelze
Energiewende
Grüner Wasserstoff aus der Zinnschmelze

Wasserstoff ist wichtig für die Energiewende. Er kann als Treibstoff für Brennstoffzellenautos genutzt werden und gilt als sauber. Seine Herstellung ist es aber bislang nicht. Karlsruher Forscher haben nun ein Verfahren entwickelt, bei dem kein schädliches Kohlendioxid entsteht.
Ein Bericht von Werner Pluta

  1. Brennstoffzelle Deutschland bekommt mehr Wasserstofftankstellen
  2. Energiewende Hamburg will große Wasserstoff-Elektrolyseanlage bauen

Staupilot: Der Zulassungsstau löst sich langsam auf
Staupilot
Der Zulassungsstau löst sich langsam auf

Nach jahrelangen Verhandlungen soll es demnächst internationale Zulassungskriterien für hochautomatisierte Autos geben. Bei höheren Automatisierungsgraden strebt die Bundesregierung aber einen nationalen Alleingang an.
Ein Bericht von Friedhelm Greis

  1. Autonomes Fahren Ermittler geben Testfahrerin Hauptschuld an Uber-Unfall
  2. Ermittlungsberichte Wie die Uber-Software den tödlichen Unfall begünstigte
  3. Firmentochter gegründet VW will in fünf Jahren autonom fahren

    •  /