Abo
  • Services:
Anzeige
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen.
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen. (Bild: Jan Homann/CC BY-SA 3.0)

Wissen repräsentieren und generalisieren

Schließlich werden diese wenigen latenten Merkmale noch stärker auf beispielsweise zwei Merkmalsklassen generalisiert: "Cool, weiterlesen" oder "Interessiert mich nicht". Weil er schon früher Texte gelesen hat, zum Beispiel auf Golem.de, sind dem Leser bereits Merkmale für diese zwei Klassen und die Entscheidung, die er damals für eine dieser beiden Merkmalsklassen getroffen hat, bekannt.

Sein Gehirn hat dieses Label der Entscheidung mit den latenten Merkmalen der Texte verlinkt. Aufgrund dieser Verlinkungsstruktur könnten Leser jetzt eine Vorhersage treffen: weiterlesen oder abbrechen.

Anzeige

Neuronen und Schwellwerte

Die erste Idee, diese Leistung des Gehirns auf das maschinelle Lernen zu übertragen, gab es bereits 1943. Der Neurologe Warren S. McCulloch und der Logiker Walter Pitts schlugen als Recheneinheiten künstliche Nervenzellen (Neuronen) vor, die miteinander verbunden sind. Ihr biologisches Vorbild sind Nervenzellen des Gehirns. Die McCulloch-Pitts-Neuronen senden erst ein Signal, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschritten hat. Ähnliche künstliche Nervenzellen (Neuronen) bilden auch heute noch die Bausteine für neuronale Netze als kleinste Recheneinheit.

Wie künstliche Neuronen funktionieren, ist in den Abbildungen 1 und 2 näher erläutert.

  • Abbildung 1 (Bild: Christian Herta)
  • Abbildung 2 (Bild: Christian Herta)
Abbildung 1 (Bild: Christian Herta)

In einem neuronalen Netz werden viele Neuronen zusammengeschaltet, um wie in einem Gehirn komplexe Aufgaben zu lösen. Eine typische einfache Architektur eines neuronalen Netzes zeigt Abbildung 3.

  • Abbildung 3 (Bild: Christian Herta)
Abbildung 3 (Bild: Christian Herta)

Abbildung 3: Die Recheneinheiten, die Neuronen, werden in einem neuronalen Netzwerk schichtweise zusammengeschaltet. Die Kreise stellen Neuronen dar. Zur Verdeutlichung ist ein Neuron blau hervorgehoben. Es erhält seine Eingabe direkt vom Eingang des neuronalen Netzes (x1, x2, ... xn) und berechnet seine Ausgabe, wie in Abbildung 1, beschrieben. Die Neuronen der nächsten Schicht (rechts von der Schicht mit dem blauen Neuron) bekommen als Eingabe die Ausgaben der Neuronenaktivitäten der Schicht des blauen Neurons. Die Information wird im neuronalen Netz also schichtweise verarbeitet und fließt hier von links nach rechts bis zum Ausgang des neuronalen Netzes (hier nur ein Ausgabe-Neuron). Ein neuronales Netz wird als tief bezeichnet, wenn es aus sehr vielen Schichten besteht.

Klassifikation und Vorhersage bei flachen neuronalen Netzwerken

Eine typische Problemstellung, die mit neuronalen Netzen gelöst werden kann, ist die Klassifikation von Datensätzen in vorgegebene Kategorien. Beispielsweise sollen Fotos in drei vorgegebene Klassen - Landschaftsbilder, Porträts oder Tieraufnahmen - eingeteilt werden. Dazu werden einzelne Datensätze durch eine diskrete (also bestimmbare/zählbare) Menge von Merkmalen (Features) beschrieben. Hat man etwa Fotos in RGB-Farbcodierung, so kann man pro Pixel drei Merkmale für die drei Farbwerte verwenden. Nehmen wir vereinfacht an, dass jedes Bild 1.000 x 1.000, also 1 Million Pixel aufweist, so hat man pro Foto 3 x 1 Million = 3 Millionen Merkmale. Die Merkmale spannen einen Merkmalsraum auf. Dabei wird jedes Bild durch einen Punkt im Merkmalsraum repräsentiert, wie in Abbildung 4 illustriert.

  • Abbildung 4 (Bild: Christian Herta)
Abbildung 4 (Bild: Christian Herta)

Abbildung 4: Ein Foto (hier zur Illustration nur 2 x 1 Pixel) mit jeweils einem Helligkeitswert pro Pixel (statt der RGB-Werte) kann als Punkt in einem zweidimensionalen Merkmalsraum dargestellt werden. Hier hat das Pixel 1 den Helligkeitswert 50 und das Pixel 2 den Helligkeitswert 100.

Für die Einteilung der Fotos in die drei Klassen benötigt man eine Funktion, die die Punkte des Merkmalsraumes auf die Klassen abbildet, wie in Abbildung 5 an dem zweidimensionalen Beispiel vereinfacht dargestellt.

  • Abbildung 5 (Bild: Christian Herta)
Abbildung 5 (Bild: Christian Herta)

Abbildung 5: Illustration einer einfachen Entscheidungsfunktion auf dem Merkmalsraum der Abbildung 4

Das neuronale Netzwerk versucht nun, anhand der vorgegebenen Beispiele eine Entscheidungsfunktion abzuleiten, also festzustellen, aus welchen Merkmalen sich eine Bildklasse ableiten lässt. Diese Entscheidungsfunktion klassifiziert beispielsweise die Punkte des 2D-Merkmalsraums in die Klasse der Fotos, deren Summe der Helligkeitswerte größer/gleich 100 beträgt (gelb), bzw. deren Summe niedriger als 100 ist (orange). Der Punkt, der dem Foto mit den Helligkeitswerten (50, 100) entspricht, wird auf die Klasse "Bild mit Summe größer 100" abgebildet, in Abbildung 5 ist das der gelbe Bereich.

Diese einfache Entscheidungsfunktion separiert beide Klassen durch eine gerade Trennlinie (grün). Für richtige Fotos ist die Entscheidungsfunktion viel komplexer. Hier kann keine einfache Trennlinie gefunden werden. Daher muss die ursprüngliche (hochdimensionale) Repräsentation des Bildes zunächst in eine einfachere - meist niedrigdimensionale - Repräsentation transformiert werden, die eine Klassenentscheidung ermöglicht (siehe Abbildung 6).

  • Abbildung 6 (Bild: Christian Herta)
Abbildung 6 (Bild: Christian Herta)

Abbildung 6: Vereinfachte Darstellung einer Merkmalstransformation für zwei Merkmale und drei Klassen. Im ursprünglichen Merkmalsraum haben wir eine komplizierte Abbildungsfunktion der Merkmale auf die Klassen. Nach der Transformation sind die Datenpunkte der unterschiedlichen Klassen im Raum durch einfache gerade Trennlinien (im allgemeinen Hyperebenen) voneinander abgegrenzt.

Diese Transformation wird im neuronalen Netz durch viele kleine, hintereinandergeschaltete Transformationen erreicht. Dabei führt jede (verdeckte) Schicht des neuronalen Netzes eine Transformation aus (vgl. Abbildung 3): Die ursprüngliche (Eingabe-) Repräsentation (x1, x2, ... xn) ergibt in der ersten verdeckten Schicht ein Neuronenaktivitätsmuster (Output der Neurone der Hidden Layer 1). Es kann - analog zu den Eingabewerten - als Punkt in einem neuen Merkmalsraum interpretiert werden.

Die ursprüngliche Merkmalsrepräsentation der Eingabe wurde somit in neue Merkmale, die Aktivitäten der ersten verdeckten Neuronenschicht, transformiert. Solche Transformationen der Repräsentation werden beim Deep Learning durch weitere verdeckte Schichten wiederholt. Die Merkmale (Neuronenaktivitäten) der letzten verdeckten Schicht ermöglichen dann eine einfache Klassenentscheidung, wie in Abbildung 6 rechts dargestellt (grün, rot oder blau).

 Deep Learning: Maschinen, die wie Menschen lernenWie funktioniert das Lernen mit neuronalen Netzwerken? 

eye home zur Startseite
kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, Frankfurt
  2. Diehl Comfort Modules, Hamburg
  3. Zweckverband Kommunale Informationsverarbeitung Baden-Franken, Heilbronn, Heidelberg, Karlsruhe, Freiburg
  4. Heinzmann GmbH & Co. KG, Schönau


Anzeige
Blu-ray-Angebote
  1. (u. a. London Has Fallen, The Imitation Game, Lone Survivor, Olympus Has Fallen)
  2. (u. a. Die große Bud Spencer-Box Blu-ray 16,97€, Club der roten Bänder 1. Staffel Blu-ray 14...
  3. 109,00€

Folgen Sie uns
       


  1. Nintendo

    Super Mario Run für iOS läuft nur mit Onlineverbindung

  2. USA

    Samsung will Note 7 in Backsteine verwandeln

  3. Hackerangriffe

    Obama will Einfluss Russlands auf US-Wahl untersuchen lassen

  4. Free 2 Play

    US-Amerikaner verzockte 1 Million US-Dollar in Game of War

  5. Die Woche im Video

    Bei den Abmahnanwälten knallen wohl schon die Sektkorken

  6. DNS NET

    Erste Kunden in Sachsen-Anhalt erhalten 500 MBit/s

  7. Netzwerk

    EWE reduziert FTTH auf 40 MBit/s im Upload

  8. Rahmenvertrag

    VG Wort will mit Unis neue Zwischenlösung für 2017 finden

  9. Industriespionage

    Wie Thyssenkrupp seine Angreifer fand

  10. Kein Internet

    Nach Windows-Update weltweit Computer offline



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Gigaset Mobile Dock im Test: Das Smartphone wird DECT-fähig
Gigaset Mobile Dock im Test
Das Smartphone wird DECT-fähig

Civilization: Das Spiel mit der Geschichte
Civilization
Das Spiel mit der Geschichte
  1. Civilization 6 Globale Strategie mit DirectX 12
  2. Take 2 GTA 5 saust über die 70-Millionen-Marke
  3. Civilization 6 im Test Nachhilfestunde(n) beim Städtebau

Oculus Touch im Test: Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
Oculus Touch im Test
Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
  1. Microsoft Oculus Rift bekommt Kinomodus für Xbox One
  2. Gestensteuerung Oculus Touch erscheint im Dezember für 200 Euro
  3. Facebook Oculus zeigt drahtloses VR-Headset mit integriertem Tracking

  1. Re: Diese ganzen angeblichen F2P sollte man...

    DrWatson | 17:12

  2. Re: Du stellst eher Dir ein Bein.

    Hello_World | 17:11

  3. Re: Also derjenige der Hillary "crooked" genannt...

    ButterLife | 17:06

  4. Re: braucht halt niemand.

    FattyPatty | 17:06

  5. Das DHCP-Problem macht keinen Bogen um deutsche...

    AndiMonochrome | 17:06


  1. 17:27

  2. 12:53

  3. 12:14

  4. 11:07

  5. 09:01

  6. 18:40

  7. 17:30

  8. 17:13


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel