Deep Learning ersetzt das Feature-Engineering

Deep Learning ist eine Form des Feature-Engineerings mit dem Ziel, Merkmale aus (wenig verarbeiteten) Rohdaten zu lernen. Dazu werden die Rohdaten über mehrere, übereinanderliegende Schichten generalisiert, daher der Begriff Deep Learning. Ein Beispiel: Die Trainingsdaten bestehen aus Fotos/Bildern. Trainiert man ein neuronales Netz mit Bildern von Gesichtern, so werden einzelne Neuronen der ersten verdeckten Schicht maximal aktiv, wenn eine spezielle Kante in dem Foto vorhanden ist. Dies ist gewissermaßen der Schlüsselreiz für die Neuronen der ersten Schicht.

Stellenmarkt
  1. Senior-Applikationsbetreuer*- in (m/w/d) - Klinische Systeme
    Klinikum rechts der Isar der Technischen Universität München, München
  2. IT-Spezialist*in für die Clientadministration, Support und Hotline (m/w/d)
    Landeshauptstadt Stuttgart, Stuttgart
Detailsuche

Die Neuronen der nächsten Schicht sprechen dagegen auf das Vorhandensein von Gesichtsausschnitten an, wie einer Nase oder eines Auges. Die Neuronen der nächsten Schicht wiederum sind maximal aktiv, wenn Prototypen von Gesichtern am Eingang des neuronalen Netzes angelegt werden. Es wird eine Merkmalshierarchie gelernt, wobei höhere Schichten abstrakteren, höherwertigeren Merkmalen entsprechen.

So wird auch klar, warum die Entscheidungsfunktion auf den höheren Repräsentationen einfacher ist. Ist beispielsweise ein Neuron der 3. Schicht, das für einen Gesichtsprototyp steht, aktiv, so bedeutet dies, dass ein Gesicht auf dem Bild zu sehen ist. Müsste eine Entscheidung auf den Aktivitäten der 1. Neuronenschicht durchgeführt werden, so ist das deutlich schwieriger, da spezielle Kantenkombinationen als Gesicht erkannt werden müssen.

Woher kommt das Grundprinzip des Deep Learning?

Die Grundidee, Merkmale hierarchisch über viele Schichten zu lernen, kommt unter anderem aus den kognitiven Wissenschaften: So konnte schon vor langem gezeigt werden, dass im visuellen Kortex die von den Augen aufgenommene Information schichtweise verarbeitet und in höhere Repräsentationen überführt wird. Auch im visuellen Kortex des Gehirns sind die Neuronen schichtweise angeordnet. In höheren Schichten werden die Schlüsselreize auch immer komplexer.

Golem Karrierewelt
  1. Informationssicherheit in der Automobilindustrie nach VDA-ISA und TISAX® mit Zertifikat: Zwei-Tage-Workshop
    22./23.11.2022, Virtuell
  2. Entwicklung mit Unity auf der Microsoft HoloLens 2 Plattform: virtueller Zwei-Tage-Workshop
    10./11.10.2022, Virtuell
Weitere IT-Trainings

In der Vergangenheit konnten neuronale Netze mit vielen verdeckten Schichten nicht richtig lernen. Unter anderem waren die Datenmengen zu klein und die Rechenleistung war zu gering. Daher wurden in der Praxis meist nur neuronale Netze mit nur einer verdeckten Schicht und sehr wenigen Neuronen eingesetzt. Dies änderte sich erst im Jahre 2006, als Forscher um Professor Geoffrey Hinton, Toronto, einen Trainingsalgorithmus vorstellten, mit dem schichtweise Merkmalstransformationen gelernt werden können. Diese Veröffentlichung löste ein erneutes starkes Interesse an neuronalen Netzen in der Forschungscommunity aus.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Tiefes Lernen über mehrere SchichtenWoran derzeit geforscht wird 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

Anonymer Nutzer 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...



Aktuell auf der Startseite von Golem.de
Apple Watch 8 im Test
Eine Smartwatch für wirklich alle Fälle

Die Apple Watch 8 sieht aus wie ihre Vorgängerin, im Test zeigt sich auch der Funktionsumfang sehr ähnlich. Es gibt aber interessante neue Sensoren.
Ein Test von Tobias Költzsch

Apple Watch 8 im Test: Eine Smartwatch für wirklich alle Fälle
Artikel
  1. Elektrokompaktauto: Smart #1 kostet ab 41.490 Euro
    Elektrokompaktauto
    Smart #1 kostet ab 41.490 Euro

    Der neue Elektro-Smart ist da und heißt Smart #1. Das Elektroauto kommt auch in einer Brabus-Edition und bringt es damit auf 315 kW.

  2. Gestaltungsrichtlinien: Apples Dynamic Island auf dem iPhone soll werbefrei bleiben
    Gestaltungsrichtlinien
    Apples Dynamic Island auf dem iPhone soll werbefrei bleiben

    Der iPhone-Sperrbildschirm und das Dynamic Island des iPhone 14 Pro sollen frei von Werbeeinblendungen bleiben, fordert Apple.

  3. Berufsschule für die IT-Branche: Leider nicht mal ausreichend
    Berufsschule für die IT-Branche
    Leider nicht mal "ausreichend"

    Lehrmaterial wie aus einem Schüleralbtraum, ein veralteter Rahmenlehrplan und nette Lehrer, denen aber die Praxis fehlt - mein Fazit aus drei Jahren als Berufsschullehrer.
    Ein Erfahrungsbericht von Rene Koch

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MindStar (Mega Fastro SSD 1TB 69€, KF DDR5-6000 32GB Kit 229€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ • Alternate (Be Quiet Tower-Gehäuse 89,90€) • PS5-Controller GoW Ragnarök Limited Edition vorbestellbar • Saturn Technik-Booster [Werbung]
    •  /