Warum ist das Lernen neuronaler Netze so schwierig?

Ein Grund dafür, dass es so schwierig ist, neuronale Netze lernfähig zu machen, ist die hohe Dimensionalität, also die Vielzahl der vorhandenen Merkmale. In dem in Abbildung 9 verwendeten Beispiel ist das Lernen noch einfach, bei richtigen Fotos wird es deutlich schwieriger. Warum?

Stellenmarkt
  1. Data-Analyst (d/m/w) Ökonometrie, Statistik
    Prognos AG - Wir geben Orientierung., Freiburg im Breisgau, Berlin, München
  2. Senior Software Engineer (m/f/d) Java
    IDnow GmbH, München, deutschlandweit (Home-Office)
Detailsuche

Für die Entscheidungsfunktion nimmt man an, dass Punkte im Merkmalsraum, die nahe beieinanderliegen, zur gleichen Klasse gehören. Bei komplexen Problemen ist der Raum allerdings sehr hochdimensional. Dadurch gibt es in den meisten Bereichen des Raumes keine Trainingspunkte. Dieses Phänomen wird Fluch der Dimensionen genannt. Daher kann eine Klassifikationsentscheidung nicht einfach nur auf räumlicher Nähe zu Trainingsbeispielen basieren (siehe Abbildung 7).

  • Abbildung 7 (Bild: Christian Herta)
Abbildung 7 (Bild: Christian Herta)

Abbildung 7: Das Lernen der Entscheidungsfunktion (hier nur bzgl. der letzten Schicht des neuronalen Netzes) basiert auf einem Trainingsdatensatz. Hier anhand von vier Beispielen der positiven Klasse (Label: 1) und drei Beispielen der negativen Klasse (Label: 0). Die initial zufällig ausgewählte Entscheidungsgrenze (rot) weist einen großen Fehler(wert) auf, weil die meisten Datenpunkte falsch vorhergesagt werden. Beim Lernen wird nun die Entscheidungsebene sukzessive so geändert (gedreht und verschoben), dass der Fehler minimal wird. Als Resultat erhält man die blaue Entscheidungsebene, die hier die Trainingsbeispiele perfekt in die gewünschten Zielklassen einteilt. Zur Vereinfachung demonstriert das Beispiel nur das Lernen der letzten Schicht und nur von einem Neuron.

Eine weitere Schwierigkeit ist die Varianz in den Rohdaten. Die gleiche Szene beispielsweise ergibt, unter verschiedenen Lichtverhältnissen fotografiert, Punkte im Merkmalsraum, die sehr weit voneinander entfernt liegen. Fotos aus einer anderen Kategorie können deshalb räumlich näher beieinanderliegen als Fotos der gleichen Szene.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Beispielsweise kann ein Foto eines Gesichtstattoos mit vielen Grünwerten eventuell fälschlicherweise näher an der Kategorie Landschaftsaufnahme erkannt werden. Die Entscheidungsfunktion ist in dem ursprünglichen Merkmalsraum extrem kompliziert und hoch variabel, so wie in Abbildung 6 auf der linken Seite angedeutet.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Wie funktioniert das Lernen mit neuronalen Netzwerken?Tiefes Lernen über mehrere Schichten 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Aktuell auf der Startseite von Golem.de
600 Millionen Euro
Bundeswehr lässt Funkgeräte von 1982 nachbauen

Das SEM 80/90 mit 16 KBit/s wird exakt nachgebaut, zum Stückpreis von rund 20.000 Euro. Das Retrogerät geht für die Bundeswehr in Serie.

600 Millionen Euro: Bundeswehr lässt Funkgeräte von 1982 nachbauen
Artikel
  1. Foundation bei Apple TV+: Die unverfilmbare Asimov-Trilogie grandios verfilmt
    Foundation bei Apple TV+
    Die unverfilmbare Asimov-Trilogie grandios verfilmt

    Gegen die Welt von Asimovs Foundation-Trilogie wirkt Game of Thrones überschaubar. Apple hat mit einem enormen Budget eine enorme Science-Fiction-Serie geschaffen.
    Eine Rezension von Peter Osteried

  2. Browser: Edge unterstützt Maus und Tastatur auf Xbox
    Browser
    Edge unterstützt Maus und Tastatur auf Xbox

    Microsoft hat Edge auf den aktuellen Xbox-Konsolen aktualisiert. Jetzt lässt sich der Browser fast wie am PC per Maus und Tastatur bedienen.

  3. William Shatner: Captain Kirk fliegt offenbar in die Erdumlaufbahn
    William Shatner
    Captain Kirk fliegt offenbar in die Erdumlaufbahn

    Energie! Noch im Oktober 2021 fliegt William "Kirk" Shatner möglicherweise mit Jeff Bezos ins All.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung Odyssey G7 499€ • Alternate (u. a. Thermaltake Level 20 RS ARGB 99,90€) • Samsung 980 1 TB 83€ • Lenovo IdeaPad Duet Chromebook 229€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • Samsung SSD 980 Pro 1TB 150,50€ • AeroCool Cylon 4 ARGB 25,89€ [Werbung]
    •  /