Abo
  • Services:

Deep Learning: Deepmind zerstört neuronale Netze, um sie zu verstehen

Wie genau trainierte neuronale Netze funktionieren, wissen selbst deren Ersteller oft nicht. Eine Möglichkeit, dies herauszufinden, ist aber offenbar, die Modelle gezielt zu zerstören. Das zeigt eine Untersuchung von Deepmind.

Artikel veröffentlicht am ,
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend".
Deepmind: Manche Neuronen erkennen Katzen, andere sind schlicht "verwirrend". (Bild: Deepmind)

Um zu verstehen, wie neuronale Netze und ähnliche Machine-Learning-Modelle funktionieren, gibt es immer wieder neue Ansätze. Deepmind, das zu Googles Mutterunternehmen Alphabet gehört, untersucht diese Fragestellung nun durch eine Methode, die von den Neurowissenschaften inspiriert sein soll: Das Team löscht einfach einzelne Neuronen aus seinem Modell.

Stellenmarkt
  1. BRZ Deutschland GmbH, Nürnberg
  2. Rodenstock GmbH, München

"Die Auswirkungen von Schäden untersuchen", wie Deepmind das in einem Blogbeitrag nennt, ist tatsächlich eine seit Jahrzehnten bewährte Methode in der Medizin. Auf das theoretische Modell der neuronalen Netze übertragen heißt das, dass das Netzwerk gezielt zerstört wird, um die Auswirkungen von einzelnen Neuronen oder Neuronengruppen auf das Gesamtsysteme zu beobachten und zu untersuchen.

Einzelne Neuronen weniger wichtig

Das Team habe dabei zwei "überraschende Erkenntnisse" gehabt, heißt es. So gebe es wohl keinen besonderen Unterschied zwischen Neuronen, deren Verhalten sich leicht von außen interpretieren lasse, und jenen Neuronen, die ein nur sehr schwierig zu interpretierendes Verhalten aufwiesen. Letztere bezeichnet das Team gar als "verwirrend". Grundlage dieser Arbeit ist dabei eine Bilderkennung.

Für die von Deepmind als "intelligent" bezeichneten Systeme sei es außerdem besonders wichtig, dass die zugrundeliegenden Modelle gut mit neuen Situationen und neuen Eingaben zurechtkommen. Die Untersuchung von Deepmind zeige nun, dass diese besonders gewünschte Generalisierung vergleichsweise robust auf das Löschen der Neuronen und Zerstören der Netze reagiere. Jene Netze, die eher Memorisierungseffekte nutzten, reagierten hier deutlich empfindlicher.

Für die weitere Forschung folgert das Team aus diesen Ergebnissen, "dass einzelne Neuronen viel weniger wichtig sein könnten, als ein erster Blick vermuten lässt". Das Team will sich deshalb künftig wohl stärker auf die Untersuchung aller Neuronen in einem Netz konzentrieren und so die Arbeiten an "intelligenten und generalisierenden Systemen" vorantreiben.



Anzeige
Blu-ray-Angebote
  1. 34,99€

Bigfoo29 28. Mär 2018

Niemand behauptet, sie hätten MEHR Ahnung. Aber dennoch war genau das Ergebnis zu...

TetrisTyp 24. Mär 2018

kwt? nice troll ;)

MarioWario 23. Mär 2018

wobei die Mustererkennung von Menschen aufgrund seiner Abstraktheit besser ist.


Folgen Sie uns
       


Sky Ticket TV-Stick im Test

Wir haben den Sky Ticket TV Stick getestet. Der Streamingstick mit Fernbedienung bringt Sky Ticket auf den Fernseher, wenn dieser den Streamingdienst des Pay-TV-Anbieters nicht unterstützt. Auf dem Stick läuft das aktuelle Sky Ticket, das im Vergleich zur Vorgängerversion erheblich verbessert wurde. Den Sky Ticket TV gibt es quasi kostenlos, weil dieser nur zusammen mit passenden Sky-Ticket-Abos im Wert von 30 Euro angeboten wird.

Sky Ticket TV-Stick im Test Video aufrufen
Gesetzesentwurf: So will die Regierung den Abmahnmissbrauch eindämmen
Gesetzesentwurf
So will die Regierung den Abmahnmissbrauch eindämmen

Obwohl nach Inkrafttreten der DSGVO eine Abmahnwelle ausgeblieben ist, will Justizministerin Barley nun gesetzlich gegen missbräuchliche Abmahnungen vorgehen. Damit soll auch der "fliegende Gerichtsstand" im Wettbewerbsrecht abgeschafft werden.
Von Friedhelm Greis


    iOS 12 im Test: Auch Apple will es Nutzern leichter machen
    iOS 12 im Test
    Auch Apple will es Nutzern leichter machen

    Apple setzt mit iOS 12 weniger auf aufsehenerregende Funktionen als auf viele kleine Verbesserungen für den Alltag. Das erinnert an Google und Android 9, was nicht zwingend schlecht ist.
    Ein Test von Tobias Költzsch

    1. Apple iOS 12.1 verrät neues iPad Pro
    2. Apple Siri-Kurzbefehle-App für iOS 12 verfügbar

    Apple: iPhone Xs und iPhone Xs Max sind bierdicht
    Apple
    iPhone Xs und iPhone Xs Max sind bierdicht

    Apple verdoppelt das iPhone X. Das Modell iPhone Xs mit 5,8 Zoll großem Display ist der Nachfolger des iPhone X und das iPhone Xs Max ist ein Plus-Modell mit 6,5 Zoll großem Display. Die Gehäuse sind sogar salzwasserfest und überstehen auch Bäder in anderen Flüssigkeiten.

    1. Apple iPhone 3GS wird in Südkorea wieder verkauft
    2. Drosselung beim iPhone Apple zahlt Kunden Geld für Akkutausch zurück
    3. NFC Yubikeys arbeiten ab sofort mit dem iPhone zusammen

      •  /