Warum ist das Lernen neuronaler Netze so schwierig?

Ein Grund dafür, dass es so schwierig ist, neuronale Netze lernfähig zu machen, ist die hohe Dimensionalität, also die Vielzahl der vorhandenen Merkmale. In dem in Abbildung 9 verwendeten Beispiel ist das Lernen noch einfach, bei richtigen Fotos wird es deutlich schwieriger. Warum?

Stellenmarkt
  1. SAP Basis Administrator (m/w/x)
    über duerenhoff GmbH, Raum Mannheim (Home-Office)
  2. Iot Solution Engineer (m/w/d) Digital Factory
    Dürr Systems AG, Bietigheim-Bissingen
Detailsuche

Für die Entscheidungsfunktion nimmt man an, dass Punkte im Merkmalsraum, die nahe beieinanderliegen, zur gleichen Klasse gehören. Bei komplexen Problemen ist der Raum allerdings sehr hochdimensional. Dadurch gibt es in den meisten Bereichen des Raumes keine Trainingspunkte. Dieses Phänomen wird Fluch der Dimensionen genannt. Daher kann eine Klassifikationsentscheidung nicht einfach nur auf räumlicher Nähe zu Trainingsbeispielen basieren (siehe Abbildung 7).

  • Abbildung 7 (Bild: Christian Herta)
Abbildung 7 (Bild: Christian Herta)

Abbildung 7: Das Lernen der Entscheidungsfunktion (hier nur bzgl. der letzten Schicht des neuronalen Netzes) basiert auf einem Trainingsdatensatz. Hier anhand von vier Beispielen der positiven Klasse (Label: 1) und drei Beispielen der negativen Klasse (Label: 0). Die initial zufällig ausgewählte Entscheidungsgrenze (rot) weist einen großen Fehler(wert) auf, weil die meisten Datenpunkte falsch vorhergesagt werden. Beim Lernen wird nun die Entscheidungsebene sukzessive so geändert (gedreht und verschoben), dass der Fehler minimal wird. Als Resultat erhält man die blaue Entscheidungsebene, die hier die Trainingsbeispiele perfekt in die gewünschten Zielklassen einteilt. Zur Vereinfachung demonstriert das Beispiel nur das Lernen der letzten Schicht und nur von einem Neuron.

Eine weitere Schwierigkeit ist die Varianz in den Rohdaten. Die gleiche Szene beispielsweise ergibt, unter verschiedenen Lichtverhältnissen fotografiert, Punkte im Merkmalsraum, die sehr weit voneinander entfernt liegen. Fotos aus einer anderen Kategorie können deshalb räumlich näher beieinanderliegen als Fotos der gleichen Szene.

Golem Karrierewelt
  1. Container Management und Orchestrierung: virtueller Drei-Tage-Workshop
    23.-25.11.2022, Virtuell
  2. Angular für Einsteiger: virtueller Zwei-Tage-Workshop
    19./20.12.2022, Virtuell
Weitere IT-Trainings

Beispielsweise kann ein Foto eines Gesichtstattoos mit vielen Grünwerten eventuell fälschlicherweise näher an der Kategorie Landschaftsaufnahme erkannt werden. Die Entscheidungsfunktion ist in dem ursprünglichen Merkmalsraum extrem kompliziert und hoch variabel, so wie in Abbildung 6 auf der linken Seite angedeutet.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Wie funktioniert das Lernen mit neuronalen Netzwerken?Tiefes Lernen über mehrere Schichten 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...



Aktuell auf der Startseite von Golem.de
Cloudgaming-Dienst
Google schließt Stadia

Google steigt aus dem Cloud-Gaming-Geschäft aus und stellt seinen Dienst Stadia ein. Kunden erhalten ihr Geld zurück.

Cloudgaming-Dienst: Google schließt Stadia
Artikel
  1. Axel-Springer-Chef: Döpfner schlug Musk den Kauf von Twitter vor
    Axel-Springer-Chef
    Döpfner schlug Musk den Kauf von Twitter vor

    "Das wird lustig": Wenige Tage vor seinem Einstieg bei Twitter erhielt Elon Musk eine interessante Nachricht von Axel-Springer-Chef Döpfner.

  2. Hausanschluss: Warum sich einige nicht für Glasfaser entscheiden
    Hausanschluss
    Warum sich einige nicht für Glasfaser entscheiden

    Nicht alle geförderten Projekte für einen Glasfaser-Hausanschluss können umgesetzt werden. Manche Hausbesitzer wollen einfach nicht.

  3. Flexpoint, Bfloat16, TensorFloat32, FP8: Dank KI zu neuen Gleitkommazahlen
    Flexpoint, Bfloat16, TensorFloat32, FP8
    Dank KI zu neuen Gleitkommazahlen

    Die Dominanz der KI-Forschung bringt die Gleitkommazahlen erstmals seit Jahrzehnten wieder durcheinander. Darauf muss auch die Hardware-Industrie reagieren.
    Von Sebastian Grüner

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • CyberWeek nur noch heute • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ • Alternate (Be Quiet Tower-Gehäuse 89,90€) • PS5-Controller GoW Ragnarök Limited Edition vorbestellbar [Werbung]
    •  /