Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. M-net Telekommunikations GmbH, München
  2. McService GmbH, München

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Top-Angebote
  1. 127,90€ (effektiver Preis für SSD 107,90€)
  2. (u. a. Battlefield 5, FIFA 19, Battlefront 2, NHL 19)
  3. (u. a. FIFA 19, New Super Mario Bros. U Deluxe, Donkey Kong Contry)
  4. (aktuell u. a. Ryzen 7 2700X 299€, Playstation-Store-Guthaben für 18,40€ statt 20€ oder...

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Padrone-Maus-Ring angesehen (CES 2019)

Der Ring von Padrone soll die Maus überflüssig machen - wir haben ihn uns auf der CES 2019 angesehen.

Padrone-Maus-Ring angesehen (CES 2019) Video aufrufen
CES 2019: Die Messe der unnützen Gaming-Hardware
CES 2019
Die Messe der unnützen Gaming-Hardware

CES 2019 Wer wollte schon immer dauerhaft auf einem kleinen 17-Zoll-Bildschirm spielen oder ein mehrere Kilogramm schweres Tablet mit sich herumtragen? Niemand! Das ficht die Hersteller aber nicht an - im Gegenteil, sie denken sich immer mehr Obskuritäten aus.
Ein IMHO von Oliver Nickel

  1. Bosch Touch-Projektoren angesehen Virtuelle Displays für Küche und Schrank
  2. Mobilität Das Auto der Zukunft ist modular und wandelbar
  3. Sonos Keine Parallelnutzung von Alexa und Google Assistant geplant

Mobilität: Überrollt von Autos
Mobilität
Überrollt von Autos

CES 2019 Die Consumer Electronic Show entwickelt sich immer stärker zu einer Mobilitätsmesse. Größere Fernseher und leichtere Laptops sind zwar noch ein Thema, doch die Stars in Las Vegas haben Räder.
Ein Bericht von Dirk Kunde

  1. Link Bar JBL bringt Soundbar mit eingebautem Android TV doch noch
  2. Streaming LG und Sony bringen Airplay 2 nur auf neue Smart-TVs
  3. Master Series ZG9 Sony stellt seinen ersten 8K-Fernseher vor

Kaufberatung: Die richtige CPU und Grafikkarte
Kaufberatung
Die richtige CPU und Grafikkarte

Bei PC-Hardware gab es 2018 viele Neuerungen: AMD hat 32 CPU-Kerne etabliert, Intel verkauft immerhin acht Cores statt vier und Nvidias Turing-Grafikkarten folgten auf die zwei Jahre alten Pascal-Modelle. Wir beraten bei Komponenten und geben einen Ausblick auf die kommenden Monate.
Von Marc Sauter

  1. Fujian Jinhua USA verhängen Exportverbot gegen chinesischen DRAM-Fertiger
  2. Halbleiter China pumpt 47 Milliarden US-Dollar in eigene Chip-Industrie
  3. Dell Neue Optiplex-Systeme in drei Größen und mit Dual-GPUs

    •  /