Abo
  • Services:
Anzeige
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen.
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen. (Bild: Jan Homann/CC BY-SA 3.0)

Wissen repräsentieren und generalisieren

Schließlich werden diese wenigen latenten Merkmale noch stärker auf beispielsweise zwei Merkmalsklassen generalisiert: "Cool, weiterlesen" oder "Interessiert mich nicht". Weil er schon früher Texte gelesen hat, zum Beispiel auf Golem.de, sind dem Leser bereits Merkmale für diese zwei Klassen und die Entscheidung, die er damals für eine dieser beiden Merkmalsklassen getroffen hat, bekannt.

Sein Gehirn hat dieses Label der Entscheidung mit den latenten Merkmalen der Texte verlinkt. Aufgrund dieser Verlinkungsstruktur könnten Leser jetzt eine Vorhersage treffen: weiterlesen oder abbrechen.

Anzeige

Neuronen und Schwellwerte

Die erste Idee, diese Leistung des Gehirns auf das maschinelle Lernen zu übertragen, gab es bereits 1943. Der Neurologe Warren S. McCulloch und der Logiker Walter Pitts schlugen als Recheneinheiten künstliche Nervenzellen (Neuronen) vor, die miteinander verbunden sind. Ihr biologisches Vorbild sind Nervenzellen des Gehirns. Die McCulloch-Pitts-Neuronen senden erst ein Signal, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschritten hat. Ähnliche künstliche Nervenzellen (Neuronen) bilden auch heute noch die Bausteine für neuronale Netze als kleinste Recheneinheit.

Wie künstliche Neuronen funktionieren, ist in den Abbildungen 1 und 2 näher erläutert.

  • Abbildung 1 (Bild: Christian Herta)
  • Abbildung 2 (Bild: Christian Herta)
Abbildung 1 (Bild: Christian Herta)

In einem neuronalen Netz werden viele Neuronen zusammengeschaltet, um wie in einem Gehirn komplexe Aufgaben zu lösen. Eine typische einfache Architektur eines neuronalen Netzes zeigt Abbildung 3.

  • Abbildung 3 (Bild: Christian Herta)
Abbildung 3 (Bild: Christian Herta)

Abbildung 3: Die Recheneinheiten, die Neuronen, werden in einem neuronalen Netzwerk schichtweise zusammengeschaltet. Die Kreise stellen Neuronen dar. Zur Verdeutlichung ist ein Neuron blau hervorgehoben. Es erhält seine Eingabe direkt vom Eingang des neuronalen Netzes (x1, x2, ... xn) und berechnet seine Ausgabe, wie in Abbildung 1, beschrieben. Die Neuronen der nächsten Schicht (rechts von der Schicht mit dem blauen Neuron) bekommen als Eingabe die Ausgaben der Neuronenaktivitäten der Schicht des blauen Neurons. Die Information wird im neuronalen Netz also schichtweise verarbeitet und fließt hier von links nach rechts bis zum Ausgang des neuronalen Netzes (hier nur ein Ausgabe-Neuron). Ein neuronales Netz wird als tief bezeichnet, wenn es aus sehr vielen Schichten besteht.

Klassifikation und Vorhersage bei flachen neuronalen Netzwerken

Eine typische Problemstellung, die mit neuronalen Netzen gelöst werden kann, ist die Klassifikation von Datensätzen in vorgegebene Kategorien. Beispielsweise sollen Fotos in drei vorgegebene Klassen - Landschaftsbilder, Porträts oder Tieraufnahmen - eingeteilt werden. Dazu werden einzelne Datensätze durch eine diskrete (also bestimmbare/zählbare) Menge von Merkmalen (Features) beschrieben. Hat man etwa Fotos in RGB-Farbcodierung, so kann man pro Pixel drei Merkmale für die drei Farbwerte verwenden. Nehmen wir vereinfacht an, dass jedes Bild 1.000 x 1.000, also 1 Million Pixel aufweist, so hat man pro Foto 3 x 1 Million = 3 Millionen Merkmale. Die Merkmale spannen einen Merkmalsraum auf. Dabei wird jedes Bild durch einen Punkt im Merkmalsraum repräsentiert, wie in Abbildung 4 illustriert.

  • Abbildung 4 (Bild: Christian Herta)
Abbildung 4 (Bild: Christian Herta)

Abbildung 4: Ein Foto (hier zur Illustration nur 2 x 1 Pixel) mit jeweils einem Helligkeitswert pro Pixel (statt der RGB-Werte) kann als Punkt in einem zweidimensionalen Merkmalsraum dargestellt werden. Hier hat das Pixel 1 den Helligkeitswert 50 und das Pixel 2 den Helligkeitswert 100.

Für die Einteilung der Fotos in die drei Klassen benötigt man eine Funktion, die die Punkte des Merkmalsraumes auf die Klassen abbildet, wie in Abbildung 5 an dem zweidimensionalen Beispiel vereinfacht dargestellt.

  • Abbildung 5 (Bild: Christian Herta)
Abbildung 5 (Bild: Christian Herta)

Abbildung 5: Illustration einer einfachen Entscheidungsfunktion auf dem Merkmalsraum der Abbildung 4

Das neuronale Netzwerk versucht nun, anhand der vorgegebenen Beispiele eine Entscheidungsfunktion abzuleiten, also festzustellen, aus welchen Merkmalen sich eine Bildklasse ableiten lässt. Diese Entscheidungsfunktion klassifiziert beispielsweise die Punkte des 2D-Merkmalsraums in die Klasse der Fotos, deren Summe der Helligkeitswerte größer/gleich 100 beträgt (gelb), bzw. deren Summe niedriger als 100 ist (orange). Der Punkt, der dem Foto mit den Helligkeitswerten (50, 100) entspricht, wird auf die Klasse "Bild mit Summe größer 100" abgebildet, in Abbildung 5 ist das der gelbe Bereich.

Diese einfache Entscheidungsfunktion separiert beide Klassen durch eine gerade Trennlinie (grün). Für richtige Fotos ist die Entscheidungsfunktion viel komplexer. Hier kann keine einfache Trennlinie gefunden werden. Daher muss die ursprüngliche (hochdimensionale) Repräsentation des Bildes zunächst in eine einfachere - meist niedrigdimensionale - Repräsentation transformiert werden, die eine Klassenentscheidung ermöglicht (siehe Abbildung 6).

  • Abbildung 6 (Bild: Christian Herta)
Abbildung 6 (Bild: Christian Herta)

Abbildung 6: Vereinfachte Darstellung einer Merkmalstransformation für zwei Merkmale und drei Klassen. Im ursprünglichen Merkmalsraum haben wir eine komplizierte Abbildungsfunktion der Merkmale auf die Klassen. Nach der Transformation sind die Datenpunkte der unterschiedlichen Klassen im Raum durch einfache gerade Trennlinien (im allgemeinen Hyperebenen) voneinander abgegrenzt.

Diese Transformation wird im neuronalen Netz durch viele kleine, hintereinandergeschaltete Transformationen erreicht. Dabei führt jede (verdeckte) Schicht des neuronalen Netzes eine Transformation aus (vgl. Abbildung 3): Die ursprüngliche (Eingabe-) Repräsentation (x1, x2, ... xn) ergibt in der ersten verdeckten Schicht ein Neuronenaktivitätsmuster (Output der Neurone der Hidden Layer 1). Es kann - analog zu den Eingabewerten - als Punkt in einem neuen Merkmalsraum interpretiert werden.

Die ursprüngliche Merkmalsrepräsentation der Eingabe wurde somit in neue Merkmale, die Aktivitäten der ersten verdeckten Neuronenschicht, transformiert. Solche Transformationen der Repräsentation werden beim Deep Learning durch weitere verdeckte Schichten wiederholt. Die Merkmale (Neuronenaktivitäten) der letzten verdeckten Schicht ermöglichen dann eine einfache Klassenentscheidung, wie in Abbildung 6 rechts dargestellt (grün, rot oder blau).

 Deep Learning: Maschinen, die wie Menschen lernenWie funktioniert das Lernen mit neuronalen Netzwerken? 

eye home zur Startseite
kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Anzeige

Stellenmarkt
  1. über Ratbacher GmbH, Hannover
  2. über Ratbacher GmbH, Raum Münster
  3. Melitta Professional Coffee Solutions GmbH & Co. KG, Minden
  4. Robert Bosch GmbH, Abstatt


Anzeige
Spiele-Angebote
  1. (-15%) 25,49€
  2. 4,99€
  3. 4,99€

Folgen Sie uns
       


  1. Megaupload

    Dotcom droht bei Auslieferung volle Anklage in den USA

  2. PC-Markt

    Unternehmen geben deutschen PC-Käufen einen Schub

  3. Ungepatchte Sicherheitslücke

    Google legt sich erneut mit Microsoft an

  4. Torus

    CoreOS gibt weitere Eigenentwicklung auf

  5. Hololens

    Verbesserte AR-Brille soll nicht vor 2019 kommen

  6. Halo Wars 2 im Test

    Echtzeit-Strategie für Supersoldaten

  7. Autonome Systeme

    Microsoft stellt virtuelle Testplattform für Drohnen vor

  8. Limux

    Die tragische Geschichte eines Leuchtturm-Projekts

  9. Betriebssysteme

    Linux 4.10 beschleunigt und verbessert

  10. Supercomputer

    Der erste Exaflops-Rechner wird in China gebaut



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
München: Wie Limux unter Ausschluss der Öffentlichkeit zerstört wird
München
Wie Limux unter Ausschluss der Öffentlichkeit zerstört wird
  1. Fake News Für Facebook wird es hässlich
  2. Nach Angriff auf Telekom Mit dem Strafrecht Router ins Terrorcamp schicken oder so
  3. Soziales Netzwerk Facebook wird auch Instagram kaputt machen

Pure Audio: Blu-ray-Audioformate kommen nicht aus der Nische
Pure Audio
Blu-ray-Audioformate kommen nicht aus der Nische

Prey angespielt: Das Monster aus der Kaffeetasse
Prey angespielt
Das Monster aus der Kaffeetasse
  1. Bethesda Softworks Prey bedroht die Welt im Mai 2017
  2. Ausblicke Abenteuer in Andromeda und Galaxy

  1. Re: Sicher ein Spion von Putin

    LinuxMcBook | 23:08

  2. Re: "Schaden"

    LinuxMcBook | 23:05

  3. Re: Lässt sich doch einfach zusammenfassen

    TeK | 23:05

  4. Re: Guter Artikel! Auch für Win-Fans

    TeK | 23:03

  5. Re: Dotcoms Villa wurde bei einer brutalen...

    ArcherV | 22:47


  1. 18:33

  2. 17:38

  3. 16:38

  4. 16:27

  5. 15:23

  6. 14:00

  7. 13:12

  8. 12:07


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel