Abo
  • Services:

Warum ist das Lernen neuronaler Netze so schwierig?

Ein Grund dafür, dass es so schwierig ist, neuronale Netze lernfähig zu machen, ist die hohe Dimensionalität, also die Vielzahl der vorhandenen Merkmale. In dem in Abbildung 9 verwendeten Beispiel ist das Lernen noch einfach, bei richtigen Fotos wird es deutlich schwieriger. Warum?

Stellenmarkt
  1. Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO, Stuttgart, Esslingen
  2. eco Verband der Internetwirtschaft e.V., Köln

Für die Entscheidungsfunktion nimmt man an, dass Punkte im Merkmalsraum, die nahe beieinanderliegen, zur gleichen Klasse gehören. Bei komplexen Problemen ist der Raum allerdings sehr hochdimensional. Dadurch gibt es in den meisten Bereichen des Raumes keine Trainingspunkte. Dieses Phänomen wird Fluch der Dimensionen genannt. Daher kann eine Klassifikationsentscheidung nicht einfach nur auf räumlicher Nähe zu Trainingsbeispielen basieren (siehe Abbildung 7).

  • Abbildung 7 (Bild: Christian Herta)
Abbildung 7 (Bild: Christian Herta)

Abbildung 7: Das Lernen der Entscheidungsfunktion (hier nur bzgl. der letzten Schicht des neuronalen Netzes) basiert auf einem Trainingsdatensatz. Hier anhand von vier Beispielen der positiven Klasse (Label: 1) und drei Beispielen der negativen Klasse (Label: 0). Die initial zufällig ausgewählte Entscheidungsgrenze (rot) weist einen großen Fehler(wert) auf, weil die meisten Datenpunkte falsch vorhergesagt werden. Beim Lernen wird nun die Entscheidungsebene sukzessive so geändert (gedreht und verschoben), dass der Fehler minimal wird. Als Resultat erhält man die blaue Entscheidungsebene, die hier die Trainingsbeispiele perfekt in die gewünschten Zielklassen einteilt. Zur Vereinfachung demonstriert das Beispiel nur das Lernen der letzten Schicht und nur von einem Neuron.

Eine weitere Schwierigkeit ist die Varianz in den Rohdaten. Die gleiche Szene beispielsweise ergibt, unter verschiedenen Lichtverhältnissen fotografiert, Punkte im Merkmalsraum, die sehr weit voneinander entfernt liegen. Fotos aus einer anderen Kategorie können deshalb räumlich näher beieinanderliegen als Fotos der gleichen Szene.

Beispielsweise kann ein Foto eines Gesichtstattoos mit vielen Grünwerten eventuell fälschlicherweise näher an der Kategorie Landschaftsaufnahme erkannt werden. Die Entscheidungsfunktion ist in dem ursprünglichen Merkmalsraum extrem kompliziert und hoch variabel, so wie in Abbildung 6 auf der linken Seite angedeutet.

 Wie funktioniert das Lernen mit neuronalen Netzwerken?Tiefes Lernen über mehrere Schichten 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


Anzeige
Blu-ray-Angebote
  1. (u. a. ES Blu-ray 10,83€, Die nackte Kanone Blu-ray-Box-Set 14,99€)
  2. (u. a. 3 Blu-rays für 15€, 2 Neuheiten für 15€)
  3. 5€ inkl. FSK-18-Versand

kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!


Folgen Sie uns
       


Dell XPS 13 (9380) - Hands on (CES 2019)

Wir haben uns Dells neues XPS 13 auf der CES 2019 angesehen.

Dell XPS 13 (9380) - Hands on (CES 2019) Video aufrufen
Padrone angesehen: Eine Mausalternative, die funktioniert
Padrone angesehen
Eine Mausalternative, die funktioniert

CES 2019 Ein Ring soll die Computermaus ersetzen: Am Zeigefinger getragen macht Padrone jede Oberfläche zum Touchpad. Der Prototyp fühlt sich bei der Bedienung überraschend gut an.
Von Tobias Költzsch

  1. Videostreaming Plex will Filme und Serien kostenlos und im Abo anbieten
  2. People Mover Rollende Kisten ohne Fahrer
  3. Solar Cow angesehen Elektrische Kuh gibt Strom statt Milch

Schwerlastverkehr: Oberleitung - aber richtig!
Schwerlastverkehr
Oberleitung - aber richtig!

Der Schwerlast- und Lieferverkehr soll stärker elektrifiziert werden. Dafür sollen kilometerweise Oberleitungen entstehen. Dass Geld auf diese Weise in LKW statt in die Bahn zu stecken, ist aber völlig irrsinnig!
Ein IMHO von Sebastian Grüner

  1. Softwarefehler Lime-Tretroller werfen Fahrer ab
  2. Hyundai Das Elektroauto soll automatisiert parken und laden
  3. Kalifornien Ab 2029 müssen Stadtbusse elektrisch fahren

CES 2019: Die Messe der unnützen Gaming-Hardware
CES 2019
Die Messe der unnützen Gaming-Hardware

CES 2019 Wer wollte schon immer dauerhaft auf einem kleinen 17-Zoll-Bildschirm spielen oder ein mehrere Kilogramm schweres Tablet mit sich herumtragen? Niemand! Das ficht die Hersteller aber nicht an - im Gegenteil, sie denken sich immer mehr Obskuritäten aus.
Ein IMHO von Oliver Nickel

  1. Slighter im Hands on Wenn das Feuerzeug smarter als der Raucher ist
  2. Sonos Keine Parallelnutzung von Alexa und Google Assistant geplant
  3. Hypersense-Prototypen ausprobiert Razers Rumpel-Peripherie sorgt für Immersion

    •  /