Tiefes Lernen über mehrere Schichten

Flache neuronale Netzwerke, wie wir sie bisher betrachtet haben, weisen nur eine einzige Merkmalstransformation, also eine verdeckte Schicht auf. Wie auch viele andere Algorithmen des maschinellen Lernens transformieren sie Merkmale nur einmal in eine andere Repräsentation um. Ein Problem solch flacher Architekturen ist die Qualität der Klassifikation, da Lerner es mit nur einer einzigen Transformation schaffen müssen, die hochdimensionalen Ausgangsmerkmale auf die wichtigsten Merkmale zu generalisieren.

Stellenmarkt
  1. Senior Mobile Developer (m/f/d)
    IDnow GmbH, Düsseldorf, deutschlandweit (Home-Office)
  2. IT-Systemadministrator (m/w/d)
    Verwaltungsgesellschaft der Akademie zur Förderung der Kommunikation mbH, Stuttgart
Detailsuche

Oft hilft hierbei der Anwendungsentwickler oder Datenwissenschaftler mit seinem Wissen über das Anwendungsfeld, also seinem Domänenwissen, und wählt manuell möglichst repräsentative Merkmale aus. Als Eingabe dienen hier also in der Regel nicht die wenig verarbeiteten Rohdaten, sondern es werden manuell Merkmale konstruiert, die eine einfache Klassifikation möglich machen. Man spricht daher auch vom Feature-Engineering.

  • Abbildung 8 (Bild: Christian Herta)
Abbildung 8 (Bild: Christian Herta)

Abbildung 8: Prinzip der Klassifikation mit aufwendigem manuellen Feature-Engineering für Merkmale vs. Lernen von Merkmalen.

Bei komplexen Aufgabenstellungen wie der Bildanalyse kann dieser Prozess des Merkmalsdesigns auch zweistufig sein. Zuerst werden niedrige (low-level) Merkmale mit Techniken der Bildanalyse konstruiert, etwa das Finden von charakteristischen Kanten-Punkten im Bild mit Sift und die Konstruktion von Merkmalen aus solchen Punkten. Aus diesen Merkmalen werden dann zum Beispiel mit Hilfe der Methode der Clusteranalyse neue Merkmale erzeugt, die anschließend ein Klassifikator mit einer flachen Architektur verwendet.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Dieses Vorgehen ist fehlerbehaftet, erfordert viel Trial-and-Error vom Programmierer und Erfahrung in der Domäne. Ist ein Gesicht auf einem Foto abgebildet ist, so liegen beispielsweise in der Regel Kanten bei den Augen, der Nase und dem Mund vor. Jetzt kann man versuchen, aus der charakteristischen Anordnung von Augen, Nase und Mund etc. Merkmale zu konstruieren, um ein abgebildetes Gesicht zu erkennen. Des Weiteren können auch einfache statistische Größen und Verteilungen, wie etwa die der Helligkeitswerte oder Farben, helfen, Landschaftsbilder (mehr Grün) von Porträts (mehr Hautfarbe) zu unterscheiden.

Doch Bilder können so unterschiedlich sein, dass der Lerner mit seiner Einschätzung oft falsch liegt, wenn für die Klassifikation solche händisch konstruierten Merkmale verwendet werden. Damit seltener Fehleinschätzungen vorkommen, muss der Mensch dann zusätzliche Merkmale identifizieren, programmieren und dem Lerner übergeben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Warum ist das Lernen neuronaler Netze so schwierig?Deep Learning ersetzt das Feature-Engineering 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Aktuell auf der Startseite von Golem.de
600 Millionen Euro
Bundeswehr lässt Funkgeräte von 1982 nachbauen

Das SEM 80/90 mit 16 KBit/s wird exakt nachgebaut, zum Stückpreis von rund 20.000 Euro. Das Retrogerät geht für die Bundeswehr in Serie.

600 Millionen Euro: Bundeswehr lässt Funkgeräte von 1982 nachbauen
Artikel
  1. Foundation bei Apple TV+: Die unverfilmbare Asimov-Trilogie grandios verfilmt
    Foundation bei Apple TV+
    Die unverfilmbare Asimov-Trilogie grandios verfilmt

    Gegen die Welt von Asimovs Foundation-Trilogie wirkt Game of Thrones überschaubar. Apple hat mit einem enormen Budget eine enorme Science-Fiction-Serie geschaffen.
    Eine Rezension von Peter Osteried

  2. Browser: Edge unterstützt Maus und Tastatur auf Xbox
    Browser
    Edge unterstützt Maus und Tastatur auf Xbox

    Microsoft hat Edge auf den aktuellen Xbox-Konsolen aktualisiert. Jetzt lässt sich der Browser fast wie am PC per Maus und Tastatur bedienen.

  3. Staatliche Hacker: Stasi hörte seit 1975 Autotelefone in West-Berlin ab
    Staatliche Hacker
    Stasi hörte seit 1975 Autotelefone in West-Berlin ab

    Das B-Netz der Deutschen Bundespost wurde spätestens seit 1975 von der DDR-Staatssicherheit abgehört.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Samsung Odyssey G7 499€ • Alternate (u. a. Thermaltake Level 20 RS ARGB 99,90€) • Samsung 980 1 TB 83€ • Lenovo IdeaPad Duet Chromebook 229€ • Lenovo-Laptops zu Bestpreisen • 19% auf Sony-TVs bei MM • Samsung SSD 980 Pro 1TB 150,50€ • AeroCool Cylon 4 ARGB 25,89€ [Werbung]
    •  /