Tiefes Lernen über mehrere Schichten

Flache neuronale Netzwerke, wie wir sie bisher betrachtet haben, weisen nur eine einzige Merkmalstransformation, also eine verdeckte Schicht auf. Wie auch viele andere Algorithmen des maschinellen Lernens transformieren sie Merkmale nur einmal in eine andere Repräsentation um. Ein Problem solch flacher Architekturen ist die Qualität der Klassifikation, da Lerner es mit nur einer einzigen Transformation schaffen müssen, die hochdimensionalen Ausgangsmerkmale auf die wichtigsten Merkmale zu generalisieren.

Stellenmarkt
  1. IT Security Architect (w/m/d)
    ING Deutschland, Frankfurt am Main
  2. SAP Basis Administrator (m/w/x)
    über duerenhoff GmbH, Raum Mannheim (Home-Office)
Detailsuche

Oft hilft hierbei der Anwendungsentwickler oder Datenwissenschaftler mit seinem Wissen über das Anwendungsfeld, also seinem Domänenwissen, und wählt manuell möglichst repräsentative Merkmale aus. Als Eingabe dienen hier also in der Regel nicht die wenig verarbeiteten Rohdaten, sondern es werden manuell Merkmale konstruiert, die eine einfache Klassifikation möglich machen. Man spricht daher auch vom Feature-Engineering.

  • Abbildung 8 (Bild: Christian Herta)
Abbildung 8 (Bild: Christian Herta)

Abbildung 8: Prinzip der Klassifikation mit aufwendigem manuellen Feature-Engineering für Merkmale vs. Lernen von Merkmalen.

Bei komplexen Aufgabenstellungen wie der Bildanalyse kann dieser Prozess des Merkmalsdesigns auch zweistufig sein. Zuerst werden niedrige (low-level) Merkmale mit Techniken der Bildanalyse konstruiert, etwa das Finden von charakteristischen Kanten-Punkten im Bild mit Sift und die Konstruktion von Merkmalen aus solchen Punkten. Aus diesen Merkmalen werden dann zum Beispiel mit Hilfe der Methode der Clusteranalyse neue Merkmale erzeugt, die anschließend ein Klassifikator mit einer flachen Architektur verwendet.

Golem Karrierewelt
  1. Apache Kafka Grundlagen: virtueller Zwei-Tage-Workshop
    22./23.11.2022, Virtuell
  2. Angular für Einsteiger: virtueller Zwei-Tage-Workshop
    19./20.12.2022, Virtuell
Weitere IT-Trainings

Dieses Vorgehen ist fehlerbehaftet, erfordert viel Trial-and-Error vom Programmierer und Erfahrung in der Domäne. Ist ein Gesicht auf einem Foto abgebildet ist, so liegen beispielsweise in der Regel Kanten bei den Augen, der Nase und dem Mund vor. Jetzt kann man versuchen, aus der charakteristischen Anordnung von Augen, Nase und Mund etc. Merkmale zu konstruieren, um ein abgebildetes Gesicht zu erkennen. Des Weiteren können auch einfache statistische Größen und Verteilungen, wie etwa die der Helligkeitswerte oder Farben, helfen, Landschaftsbilder (mehr Grün) von Porträts (mehr Hautfarbe) zu unterscheiden.

Doch Bilder können so unterschiedlich sein, dass der Lerner mit seiner Einschätzung oft falsch liegt, wenn für die Klassifikation solche händisch konstruierten Merkmale verwendet werden. Damit seltener Fehleinschätzungen vorkommen, muss der Mensch dann zusätzliche Merkmale identifizieren, programmieren und dem Lerner übergeben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Warum ist das Lernen neuronaler Netze so schwierig?Deep Learning ersetzt das Feature-Engineering 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...



Aktuell auf der Startseite von Golem.de
40 Jahre nach dem Tod von Philip K. Dick
Die Filmwelten eines visionären Autors

Vor 40 Jahren starb Philip K. Dick. Das Vermächtnis des visionären Science-Fiction-Autors lebt mit vielen Filmen und Serien fort.
Von Peter Osteried

40 Jahre nach dem Tod von Philip K. Dick: Die Filmwelten eines visionären Autors
Artikel
  1. Microsoft Garage: Eine Maus für alles
    Microsoft Garage
    Eine Maus für alles

    Helferlein Mehrere Monitore an einem Rechner sind für die effektive IT-Arbeit elementar. Für die Bedienung von mehreren Rechnern mit einem Eingabeset hingegen braucht es Hilfsmittel, zum Beispiel Mouse Without Borders.
    Von Kristof Zerbe

  2. Konzeptfahrzeug: Citroën Oli ist ein Elektro-SUV mit Pappkarosserie
    Konzeptfahrzeug
    Citroën Oli ist ein Elektro-SUV mit Pappkarosserie

    Die Karosserie des Elektroautos Citroën Oli besteht aus recyceltem Karton. Das Auto wiegt unter 1.000 kg und soll 400 km weit kommen.

  3. Flexpoint, Bfloat16, TensorFloat32, FP8: Dank KI zu neuen Gleitkommazahlen
    Flexpoint, Bfloat16, TensorFloat32, FP8
    Dank KI zu neuen Gleitkommazahlen

    Die Dominanz der KI-Forschung bringt die Gleitkommazahlen erstmals seit Jahrzehnten wieder durcheinander. Darauf muss auch die Hardware-Industrie reagieren.
    Von Sebastian Grüner

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • ASRock Mainboard f. Ryzen 7000 319€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • Alternate (G.Skill DDR5-6000 32GB 219,90€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ [Werbung]
    •  /