Abo
  • Services:

Deep Learning ersetzt das Feature-Engineering

Deep Learning ist eine Form des Feature-Engineerings mit dem Ziel, Merkmale aus (wenig verarbeiteten) Rohdaten zu lernen. Dazu werden die Rohdaten über mehrere, übereinanderliegende Schichten generalisiert, daher der Begriff Deep Learning. Ein Beispiel: Die Trainingsdaten bestehen aus Fotos/Bildern. Trainiert man ein neuronales Netz mit Bildern von Gesichtern, so werden einzelne Neuronen der ersten verdeckten Schicht maximal aktiv, wenn eine spezielle Kante in dem Foto vorhanden ist. Dies ist gewissermaßen der Schlüsselreiz für die Neuronen der ersten Schicht.

Stellenmarkt
  1. über duerenhoff GmbH, Raum Augsburg
  2. Bosch Gruppe, Stuttgart

Die Neuronen der nächsten Schicht sprechen dagegen auf das Vorhandensein von Gesichtsausschnitten an, wie einer Nase oder eines Auges. Die Neuronen der nächsten Schicht wiederum sind maximal aktiv, wenn Prototypen von Gesichtern am Eingang des neuronalen Netzes angelegt werden. Es wird eine Merkmalshierarchie gelernt, wobei höhere Schichten abstrakteren, höherwertigeren Merkmalen entsprechen.

So wird auch klar, warum die Entscheidungsfunktion auf den höheren Repräsentationen einfacher ist. Ist beispielsweise ein Neuron der 3. Schicht, das für einen Gesichtsprototyp steht, aktiv, so bedeutet dies, dass ein Gesicht auf dem Bild zu sehen ist. Müsste eine Entscheidung auf den Aktivitäten der 1. Neuronenschicht durchgeführt werden, so ist das deutlich schwieriger, da spezielle Kantenkombinationen als Gesicht erkannt werden müssen.

Woher kommt das Grundprinzip des Deep Learning?

Die Grundidee, Merkmale hierarchisch über viele Schichten zu lernen, kommt unter anderem aus den kognitiven Wissenschaften: So konnte schon vor langem gezeigt werden, dass im visuellen Kortex die von den Augen aufgenommene Information schichtweise verarbeitet und in höhere Repräsentationen überführt wird. Auch im visuellen Kortex des Gehirns sind die Neuronen schichtweise angeordnet. In höheren Schichten werden die Schlüsselreize auch immer komplexer.

In der Vergangenheit konnten neuronale Netze mit vielen verdeckten Schichten nicht richtig lernen. Unter anderem waren die Datenmengen zu klein und die Rechenleistung war zu gering. Daher wurden in der Praxis meist nur neuronale Netze mit nur einer verdeckten Schicht und sehr wenigen Neuronen eingesetzt. Dies änderte sich erst im Jahre 2006, als Forscher um Professor Geoffrey Hinton, Toronto, einen Trainingsalgorithmus vorstellten, mit dem schichtweise Merkmalstransformationen gelernt werden können. Diese Veröffentlichung löste ein erneutes starkes Interesse an neuronalen Netzen in der Forschungscommunity aus.

 Tiefes Lernen über mehrere SchichtenWoran derzeit geforscht wird 
  1.  
  2. 1
  3. 2
  4. 3
  5. 4
  6. 5
  7. 6
  8. 7
  9. 8
  10.  


Anzeige
Blu-ray-Angebote
  1. 34,99€

kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!


Folgen Sie uns
       


HTC U12 Life - Hands on (Ifa 2018)

HTC hat mit dem U12 Life ein neues Mittelklasse-Smartphone vorgestellt, das besonders durch die gravierte Glasrückseite auffällt. Golem.de konnte sich das Gerät vor dem Marktstart anschauen.

HTC U12 Life - Hands on (Ifa 2018) Video aufrufen
Lenovo Thinkpad T480s im Test: Das trotzdem beste Business-Notebook
Lenovo Thinkpad T480s im Test
Das trotzdem beste Business-Notebook

Mit dem Thinkpad T480s verkauft Lenovo ein exzellentes 14-Zoll-Business-Notebook. Anschlüsse und Eingabegeräte überzeugen uns - leider ist aber die CPU konservativ eingestellt und ein gutes Display kostet extra.
Ein Test von Marc Sauter und Sebastian Grüner

  1. Thinkpad E480/E485 im Test AMD gegen Intel in Lenovos 14-Zoll-Notebook
  2. Lenovo Das Thinkpad P1 ist das X1 Carbon als Workstation
  3. Thinkpad Ultra Docking Station im Test Das USB-Typ-C-Dock mit robuster Mechanik

SpaceX: Milliardär will Künstler mit zum Mond nehmen
SpaceX
Milliardär will Künstler mit zum Mond nehmen

Ein japanischer Milliardär ist der mysteriöse erste Kunde von SpaceX, der um den Mond fliegen will. Er will eine Gruppe von Künstlern zu dem Flug einladen. Die Pläne für das Raumschiff stehen kurz vor der Fertigstellung.
Von Frank Wunderlich-Pfeiffer

  1. Mondwettbewerb Niemand gewinnt den Google Lunar X-Prize

Grafikkarten: Das kann Nvidias Turing-Architektur
Grafikkarten
Das kann Nvidias Turing-Architektur

Zwei Jahre nach Pascal folgt Turing: Die GPU-Architektur führt Tensor-Cores und RT-Kerne für Spieler ein. Die Geforce RTX haben mächtige Shader-Einheiten, große Caches sowie GDDR6-Videospeicher für Raytracing, für Deep-Learning-Kantenglättung und für mehr Leistung.
Ein Bericht von Marc Sauter

  1. Tesla T4 Nvidia bringt Googles Cloud auf Turing
  2. Battlefield 5 mit Raytracing Wenn sich der Gegner in unserem Rücken spiegelt
  3. Nvidia Turing Geforce RTX 2080 rechnet 50 Prozent schneller

    •  /