Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. Product Owner (m/w/d)
    Scheidt & Bachmann Fuel Retail Solutions GmbH, Mönchengladbach
  2. Datenschutzexperte Schwerpunkt IT-Technik (m/w/d)
    Techniker Krankenkasse, Hamburg
Detailsuche

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Golem Karrierewelt
  1. Airtable Grundlagen: virtueller Ein-Tages-Workshop
    31.08.2022, Virtuell
  2. Container Technologie: Docker und Kubernetes - Theorie und Praxis: virtueller Drei-Tage-Workshop
    04.-07.07.2022, virtuell
Weitere IT-Trainings

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.



Aktuell auf der Startseite von Golem.de
Wissenschaft
LHC hat drei neue exotische Teilchen entdeckt

Der sogenannte Teilchenzoo der Physik ist noch größer geworden. Die Wissenschaft hofft auf Bestätigung der Modelle zu deren internen Aufbau.

Wissenschaft: LHC hat drei neue exotische Teilchen entdeckt
Artikel
  1. Superior Continuous Torque: E-Motor von Mahle für Dauerbetrieb unter Stress
    Superior Continuous Torque
    E-Motor von Mahle für Dauerbetrieb unter Stress

    Mahle hat einen neuen Auto-Elektromotor entwickelt, der unbegrenzt lange unter hoher Last betrieben werden kann. Dies wird durch ein neues Kühlkonzept im Motor erreicht.

  2. Security: BSI beginnt Zertifizierung für 5G-Komponenten
    Security
    BSI beginnt Zertifizierung für 5G-Komponenten

    Eine schnelle und zuverlässige IT-Sicherheitsaussage für die geprüften Produkte, das verspricht das BSI. Doch welche Produkte sind betroffen?

  3. VW.OS: VW-Software soll einfach updatefähig und bezahlbar sein
    VW.OS
    VW-Software soll "einfach updatefähig" und bezahlbar sein

    Mit seiner Softwaresparte Cariad will VW ein einheitliches System mit vereinfachter Architektur erstellen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 bestellbar • HP HyperX Gaming-Headset -40% • Corsair Wakü 234,90€ • Samsung Galaxy S20 128GB -36% • Audible -70% • MSI RTX 3080 12GB günstig wie nie: 948€ • AMD Ryzen 7 günstig wie nie: 259€ • Der beste 2.000€-Gaming-PC • CM 34" UWQHD 144 Hz günstig wie nie: 467,85€ [Werbung]
    •  /