Abo
  • Services:

Warum ist das Lernen neuronaler Netze so schwierig?

Ein Grund dafür, dass es so schwierig ist, neuronale Netze lernfähig zu machen, ist die hohe Dimensionalität, also die Vielzahl der vorhandenen Merkmale. In dem in Abbildung 9 verwendeten Beispiel ist das Lernen noch einfach, bei richtigen Fotos wird es deutlich schwieriger. Warum?

Stellenmarkt
  1. Hochschule RheinMain, Wiesbaden
  2. Evangelischer Oberkirchenrat Stuttgart, Stuttgart

Für die Entscheidungsfunktion nimmt man an, dass Punkte im Merkmalsraum, die nahe beieinanderliegen, zur gleichen Klasse gehören. Bei komplexen Problemen ist der Raum allerdings sehr hochdimensional. Dadurch gibt es in den meisten Bereichen des Raumes keine Trainingspunkte. Dieses Phänomen wird Fluch der Dimensionen genannt. Daher kann eine Klassifikationsentscheidung nicht einfach nur auf räumlicher Nähe zu Trainingsbeispielen basieren (siehe Abbildung 7).

  • Abbildung 7 (Bild: Christian Herta)
Abbildung 7 (Bild: Christian Herta)

Abbildung 7: Das Lernen der Entscheidungsfunktion (hier nur bzgl. der letzten Schicht des neuronalen Netzes) basiert auf einem Trainingsdatensatz. Hier anhand von vier Beispielen der positiven Klasse (Label: 1) und drei Beispielen der negativen Klasse (Label: 0). Die initial zufällig ausgewählte Entscheidungsgrenze (rot) weist einen großen Fehler(wert) auf, weil die meisten Datenpunkte falsch vorhergesagt werden. Beim Lernen wird nun die Entscheidungsebene sukzessive so geändert (gedreht und verschoben), dass der Fehler minimal wird. Als Resultat erhält man die blaue Entscheidungsebene, die hier die Trainingsbeispiele perfekt in die gewünschten Zielklassen einteilt. Zur Vereinfachung demonstriert das Beispiel nur das Lernen der letzten Schicht und nur von einem Neuron.

Eine weitere Schwierigkeit ist die Varianz in den Rohdaten. Die gleiche Szene beispielsweise ergibt, unter verschiedenen Lichtverhältnissen fotografiert, Punkte im Merkmalsraum, die sehr weit voneinander entfernt liegen. Fotos aus einer anderen Kategorie können deshalb räumlich näher beieinanderliegen als Fotos der gleichen Szene.

Beispielsweise kann ein Foto eines Gesichtstattoos mit vielen Grünwerten eventuell fälschlicherweise näher an der Kategorie Landschaftsaufnahme erkannt werden. Die Entscheidungsfunktion ist in dem ursprünglichen Merkmalsraum extrem kompliziert und hoch variabel, so wie in Abbildung 6 auf der linken Seite angedeutet.

 Wie funktioniert das Lernen mit neuronalen Netzwerken?Tiefes Lernen über mehrere Schichten 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


Anzeige
Blu-ray-Angebote
  1. Jetzt für 150 EUR kaufen und 75 EUR sparen

kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!


Folgen Sie uns
       


Two Point Hospital - Golem.de live

Dr. Dr. Golem meldet sich zum Dienst und muss im Livestream unfassbar viele depressive Clowns heilen, nein - nicht die im Chat.

Two Point Hospital - Golem.de live Video aufrufen
Athlon 200GE im Test: Celeron und Pentium abgehängt
Athlon 200GE im Test
Celeron und Pentium abgehängt

Mit dem Athlon 200GE belebt AMD den alten CPU-Markennamen wieder: Der Chip gefällt durch seine Zen-Kerne und die integrierte Vega-Grafikeinheit, die Intel-Konkurrenz hat dem derzeit preislich wenig entgegenzusetzen.
Ein Test von Marc Sauter

  1. AMD Threadripper erhalten dynamischen NUMA-Modus
  2. HP Elitedesk 705 Workstation Edition Minitower mit AMD-CPU startet bei 680 Euro
  3. Ryzen 5 2600H und Ryzen 7 2800H 45-Watt-CPUs mit Vega-Grafik für Laptops sind da

Neuer Echo Dot im Test: Amazon kann doch gute Mini-Lautsprecher bauen
Neuer Echo Dot im Test
Amazon kann doch gute Mini-Lautsprecher bauen

Echo Dot steht bisher für muffigen, schlechten Klang. Mit dem neuen Modell zeigt Amazon, dass es doch gute smarte Mini-Lautsprecher mit dem Alexa-Sprachassistenten bauen kann, die sogar gegen die Konkurrenz von Google ankommen.
Ein Test von Ingo Pakalski


    Neuer Kindle Paperwhite im Hands On: Amazons wasserdichter E-Book-Reader mit planem Display
    Neuer Kindle Paperwhite im Hands On
    Amazons wasserdichter E-Book-Reader mit planem Display

    Amazon bringt einen neuen Kindle Paperwhite auf den Markt und verbessert viel. Der E-Book-Reader steckt in einem wasserdichten Gehäuse, hat eine plane Displayseite, mehr Speicher und wir können damit Audible-Hörbücher hören. Noch nie gab es so viel Kindle-Leistung für so wenig Geld.
    Ein Hands on von Ingo Pakalski


        •  /