Abo
  • Services:

Warum ist das Lernen neuronaler Netze so schwierig?

Ein Grund dafür, dass es so schwierig ist, neuronale Netze lernfähig zu machen, ist die hohe Dimensionalität, also die Vielzahl der vorhandenen Merkmale. In dem in Abbildung 9 verwendeten Beispiel ist das Lernen noch einfach, bei richtigen Fotos wird es deutlich schwieriger. Warum?

Stellenmarkt
  1. GoDaddy Operating Company, LLC., Ismaning
  2. Symgenius GmbH & Co. KG, Düsseldorf, Bad Gandersheim

Für die Entscheidungsfunktion nimmt man an, dass Punkte im Merkmalsraum, die nahe beieinanderliegen, zur gleichen Klasse gehören. Bei komplexen Problemen ist der Raum allerdings sehr hochdimensional. Dadurch gibt es in den meisten Bereichen des Raumes keine Trainingspunkte. Dieses Phänomen wird Fluch der Dimensionen genannt. Daher kann eine Klassifikationsentscheidung nicht einfach nur auf räumlicher Nähe zu Trainingsbeispielen basieren (siehe Abbildung 7).

  • Abbildung 7 (Bild: Christian Herta)
Abbildung 7 (Bild: Christian Herta)

Abbildung 7: Das Lernen der Entscheidungsfunktion (hier nur bzgl. der letzten Schicht des neuronalen Netzes) basiert auf einem Trainingsdatensatz. Hier anhand von vier Beispielen der positiven Klasse (Label: 1) und drei Beispielen der negativen Klasse (Label: 0). Die initial zufällig ausgewählte Entscheidungsgrenze (rot) weist einen großen Fehler(wert) auf, weil die meisten Datenpunkte falsch vorhergesagt werden. Beim Lernen wird nun die Entscheidungsebene sukzessive so geändert (gedreht und verschoben), dass der Fehler minimal wird. Als Resultat erhält man die blaue Entscheidungsebene, die hier die Trainingsbeispiele perfekt in die gewünschten Zielklassen einteilt. Zur Vereinfachung demonstriert das Beispiel nur das Lernen der letzten Schicht und nur von einem Neuron.

Eine weitere Schwierigkeit ist die Varianz in den Rohdaten. Die gleiche Szene beispielsweise ergibt, unter verschiedenen Lichtverhältnissen fotografiert, Punkte im Merkmalsraum, die sehr weit voneinander entfernt liegen. Fotos aus einer anderen Kategorie können deshalb räumlich näher beieinanderliegen als Fotos der gleichen Szene.

Beispielsweise kann ein Foto eines Gesichtstattoos mit vielen Grünwerten eventuell fälschlicherweise näher an der Kategorie Landschaftsaufnahme erkannt werden. Die Entscheidungsfunktion ist in dem ursprünglichen Merkmalsraum extrem kompliziert und hoch variabel, so wie in Abbildung 6 auf der linken Seite angedeutet.

 Wie funktioniert das Lernen mit neuronalen Netzwerken?Tiefes Lernen über mehrere Schichten 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


Anzeige
Spiele-Angebote
  1. 59,99€
  2. 59,99€
  3. + Prämie (u. a. Far Cry 5, Elex, Assassins Creed Origins) für 62€
  4. (-75%) 9,99€

kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!


Folgen Sie uns
       


Alstom E-Bus Prototyp in Berlin - Bericht

Der Alstom Aptis kann mit beiden Achsen lenken und ist deshalb besonders wendig. Wir sind in Berlin eine Runde mit dem Elektrobus gefahren.

Alstom E-Bus Prototyp in Berlin - Bericht Video aufrufen
Indiegames-Rundschau: Mutige Mäuse und tapfere Trabbis
Indiegames-Rundschau
Mutige Mäuse und tapfere Trabbis

Grafikwucht beim ganz großen Maus-Abenteuer oder lieber Simulationstiefe beim Mischen des Treibstoffs für den Trabbi? Wieder haben Fans von Indiegames die Qual der Wahl - wir stellen die interessantesten Neuheiten vor.
Von Rainer Sigl

  1. Indiegames-Rundschau Zwischen Fake News und Mountainbiken
  2. Indiegames-Rundschau Tiefseemonster, Cyberpunks und ein Kelte
  3. Indiegames-Rundschau Krawall mit Knetmännchen und ein Mann im Fass

Patscherkofel: Gondelbahn mit Sicherheitslücken
Patscherkofel
Gondelbahn mit Sicherheitslücken

Die Steuerungsanlage der neuen Gondelbahn am Innsbrucker Patscherkofel ist ohne Sicherheitsmaßnahmen im Netz zu finden gewesen. Ein Angreifer hätte die Bahn aus der Ferne übernehmen können - trotzdem beschwichtigt der Hersteller.
Von Hauke Gierow

  1. Hamburg Sensoren melden freie Parkplätze
  2. Edge Computing Randerscheinung mit zentraler Bedeutung
  3. Software AG Cumulocity IoT bringt das Internet der Dinge für Einsteiger

NUC8i7HVK (Hades Canyon) im Test: Intels Monster-Mini mit Radeon-Grafikeinheit
NUC8i7HVK (Hades Canyon) im Test
Intels Monster-Mini mit Radeon-Grafikeinheit

Unter dem leuchtenden Schädel steckt der bisher schnellste NUC: Der buchgroße Hades Canyon kombiniert einen Intel-Quadcore mit AMDs Vega-GPU und strotzt förmlich vor Anschlüssen. Obendrein ist er recht leise und eignet sich für VR - selten hat uns ein System so gut gefallen.
Ein Test von Marc Sauter und Sebastian Grüner

  1. Crimson Canyon Intel plant weiteren Mini-PC mit Radeon-Grafik
  2. NUC7CJYS und NUC7PJYH Intel bringt Atom-betriebene Mini-PCs
  3. NUC8 Intels Mini-PC hat mächtig viel Leistung

    •  /