Abo
  • Services:
Anzeige
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen.
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen. (Bild: Jan Homann/CC BY-SA 3.0)

Wissen repräsentieren und generalisieren

Schließlich werden diese wenigen latenten Merkmale noch stärker auf beispielsweise zwei Merkmalsklassen generalisiert: "Cool, weiterlesen" oder "Interessiert mich nicht". Weil er schon früher Texte gelesen hat, zum Beispiel auf Golem.de, sind dem Leser bereits Merkmale für diese zwei Klassen und die Entscheidung, die er damals für eine dieser beiden Merkmalsklassen getroffen hat, bekannt.

Sein Gehirn hat dieses Label der Entscheidung mit den latenten Merkmalen der Texte verlinkt. Aufgrund dieser Verlinkungsstruktur könnten Leser jetzt eine Vorhersage treffen: weiterlesen oder abbrechen.

Anzeige

Neuronen und Schwellwerte

Die erste Idee, diese Leistung des Gehirns auf das maschinelle Lernen zu übertragen, gab es bereits 1943. Der Neurologe Warren S. McCulloch und der Logiker Walter Pitts schlugen als Recheneinheiten künstliche Nervenzellen (Neuronen) vor, die miteinander verbunden sind. Ihr biologisches Vorbild sind Nervenzellen des Gehirns. Die McCulloch-Pitts-Neuronen senden erst ein Signal, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschritten hat. Ähnliche künstliche Nervenzellen (Neuronen) bilden auch heute noch die Bausteine für neuronale Netze als kleinste Recheneinheit.

Wie künstliche Neuronen funktionieren, ist in den Abbildungen 1 und 2 näher erläutert.

  • Abbildung 1 (Bild: Christian Herta)
  • Abbildung 2 (Bild: Christian Herta)
Abbildung 1 (Bild: Christian Herta)

In einem neuronalen Netz werden viele Neuronen zusammengeschaltet, um wie in einem Gehirn komplexe Aufgaben zu lösen. Eine typische einfache Architektur eines neuronalen Netzes zeigt Abbildung 3.

  • Abbildung 3 (Bild: Christian Herta)
Abbildung 3 (Bild: Christian Herta)

Abbildung 3: Die Recheneinheiten, die Neuronen, werden in einem neuronalen Netzwerk schichtweise zusammengeschaltet. Die Kreise stellen Neuronen dar. Zur Verdeutlichung ist ein Neuron blau hervorgehoben. Es erhält seine Eingabe direkt vom Eingang des neuronalen Netzes (x1, x2, ... xn) und berechnet seine Ausgabe, wie in Abbildung 1, beschrieben. Die Neuronen der nächsten Schicht (rechts von der Schicht mit dem blauen Neuron) bekommen als Eingabe die Ausgaben der Neuronenaktivitäten der Schicht des blauen Neurons. Die Information wird im neuronalen Netz also schichtweise verarbeitet und fließt hier von links nach rechts bis zum Ausgang des neuronalen Netzes (hier nur ein Ausgabe-Neuron). Ein neuronales Netz wird als tief bezeichnet, wenn es aus sehr vielen Schichten besteht.

Klassifikation und Vorhersage bei flachen neuronalen Netzwerken

Eine typische Problemstellung, die mit neuronalen Netzen gelöst werden kann, ist die Klassifikation von Datensätzen in vorgegebene Kategorien. Beispielsweise sollen Fotos in drei vorgegebene Klassen - Landschaftsbilder, Porträts oder Tieraufnahmen - eingeteilt werden. Dazu werden einzelne Datensätze durch eine diskrete (also bestimmbare/zählbare) Menge von Merkmalen (Features) beschrieben. Hat man etwa Fotos in RGB-Farbcodierung, so kann man pro Pixel drei Merkmale für die drei Farbwerte verwenden. Nehmen wir vereinfacht an, dass jedes Bild 1.000 x 1.000, also 1 Million Pixel aufweist, so hat man pro Foto 3 x 1 Million = 3 Millionen Merkmale. Die Merkmale spannen einen Merkmalsraum auf. Dabei wird jedes Bild durch einen Punkt im Merkmalsraum repräsentiert, wie in Abbildung 4 illustriert.

  • Abbildung 4 (Bild: Christian Herta)
Abbildung 4 (Bild: Christian Herta)

Abbildung 4: Ein Foto (hier zur Illustration nur 2 x 1 Pixel) mit jeweils einem Helligkeitswert pro Pixel (statt der RGB-Werte) kann als Punkt in einem zweidimensionalen Merkmalsraum dargestellt werden. Hier hat das Pixel 1 den Helligkeitswert 50 und das Pixel 2 den Helligkeitswert 100.

Für die Einteilung der Fotos in die drei Klassen benötigt man eine Funktion, die die Punkte des Merkmalsraumes auf die Klassen abbildet, wie in Abbildung 5 an dem zweidimensionalen Beispiel vereinfacht dargestellt.

  • Abbildung 5 (Bild: Christian Herta)
Abbildung 5 (Bild: Christian Herta)

Abbildung 5: Illustration einer einfachen Entscheidungsfunktion auf dem Merkmalsraum der Abbildung 4

Das neuronale Netzwerk versucht nun, anhand der vorgegebenen Beispiele eine Entscheidungsfunktion abzuleiten, also festzustellen, aus welchen Merkmalen sich eine Bildklasse ableiten lässt. Diese Entscheidungsfunktion klassifiziert beispielsweise die Punkte des 2D-Merkmalsraums in die Klasse der Fotos, deren Summe der Helligkeitswerte größer/gleich 100 beträgt (gelb), bzw. deren Summe niedriger als 100 ist (orange). Der Punkt, der dem Foto mit den Helligkeitswerten (50, 100) entspricht, wird auf die Klasse "Bild mit Summe größer 100" abgebildet, in Abbildung 5 ist das der gelbe Bereich.

Diese einfache Entscheidungsfunktion separiert beide Klassen durch eine gerade Trennlinie (grün). Für richtige Fotos ist die Entscheidungsfunktion viel komplexer. Hier kann keine einfache Trennlinie gefunden werden. Daher muss die ursprüngliche (hochdimensionale) Repräsentation des Bildes zunächst in eine einfachere - meist niedrigdimensionale - Repräsentation transformiert werden, die eine Klassenentscheidung ermöglicht (siehe Abbildung 6).

  • Abbildung 6 (Bild: Christian Herta)
Abbildung 6 (Bild: Christian Herta)

Abbildung 6: Vereinfachte Darstellung einer Merkmalstransformation für zwei Merkmale und drei Klassen. Im ursprünglichen Merkmalsraum haben wir eine komplizierte Abbildungsfunktion der Merkmale auf die Klassen. Nach der Transformation sind die Datenpunkte der unterschiedlichen Klassen im Raum durch einfache gerade Trennlinien (im allgemeinen Hyperebenen) voneinander abgegrenzt.

Diese Transformation wird im neuronalen Netz durch viele kleine, hintereinandergeschaltete Transformationen erreicht. Dabei führt jede (verdeckte) Schicht des neuronalen Netzes eine Transformation aus (vgl. Abbildung 3): Die ursprüngliche (Eingabe-) Repräsentation (x1, x2, ... xn) ergibt in der ersten verdeckten Schicht ein Neuronenaktivitätsmuster (Output der Neurone der Hidden Layer 1). Es kann - analog zu den Eingabewerten - als Punkt in einem neuen Merkmalsraum interpretiert werden.

Die ursprüngliche Merkmalsrepräsentation der Eingabe wurde somit in neue Merkmale, die Aktivitäten der ersten verdeckten Neuronenschicht, transformiert. Solche Transformationen der Repräsentation werden beim Deep Learning durch weitere verdeckte Schichten wiederholt. Die Merkmale (Neuronenaktivitäten) der letzten verdeckten Schicht ermöglichen dann eine einfache Klassenentscheidung, wie in Abbildung 6 rechts dargestellt (grün, rot oder blau).

 Deep Learning: Maschinen, die wie Menschen lernenWie funktioniert das Lernen mit neuronalen Netzwerken? 

eye home zur Startseite
kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Bühl
  2. KWS Services Deutschland GmbH, Einbeck
  3. DPD Deutschland GmbH, Aschaffenburg
  4. Elumatec AG, Mühlacker bei Pforzheim


Anzeige
Spiele-Angebote
  1. 11,49€
  2. 16,99€
  3. 49,99€

Folgen Sie uns
       


  1. Fifa 18 im Test

    Kick mit mehr Taktik und mehr Story

  2. Trekstor

    Kompakte Convertibles kosten ab 350 Euro

  3. Apple

    4K-Filme in iTunes laufen nur auf neuem Apple TV

  4. Bundesgerichtshof

    Keine Urheberrechtsverletzung durch Google-Bildersuche

  5. FedEX

    TNT verliert durch NotPetya 300 Millionen US-Dollar

  6. Arbeit aufgenommen

    Deutsches Internet-Institut nach Weizenbaum benannt

  7. Archer CR700v

    Kabelrouter von TP-Link doch nicht komplett abgesagt

  8. QC35 II

    Bose bringt Kopfhörer mit eingebautem Google Assistant

  9. Nach "Judenhasser"-Eklat

    Facebook erlaubt wieder gezielte Werbung an Berufsgruppen

  10. Tuxedo

    Linux-Notebook läuft bis zu 20 Stunden



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Anki Cozmo im Test: Katze gegen Roboter
Anki Cozmo im Test
Katze gegen Roboter
  1. Die Woche im Video Apple, Autos und ein grinsender Affe
  2. Anki Cozmo ausprobiert Niedlicher Programmieren lernen und spielen

Edge Computing: Randerscheinung mit zentraler Bedeutung
Edge Computing
Randerscheinung mit zentraler Bedeutung
  1. Software AG Cumulocity IoT bringt das Internet der Dinge für Einsteiger
  2. DDoS 30.000 Telnet-Zugänge für IoT-Geräte veröffentlicht
  3. Deutsche Telekom Narrowband-IoT-Servicepakete ab 200 Euro

Mobilestudio Pro 16 im Test: Wacom nennt 2,2-Kilogramm-Grafiktablet "mobil"
Mobilestudio Pro 16 im Test
Wacom nennt 2,2-Kilogramm-Grafiktablet "mobil"
  1. Wacom Vorschau auf Cintiq-Stift-Displays mit 32 und 24 Zoll

  1. Re: Es nervt!!!

    DetlevCM | 21:31

  2. Re: Apple will das Kommunikationsverhalten diktieren

    atikalz | 21:30

  3. Re: Vodafone ist schlimm - Unitymedia funktioniert

    SanderK | 21:23

  4. Re: Als Android-Nutzer beneide ich euch

    dschu | 21:21

  5. Re: Das zuverlässigste ever ...

    DetlevCM | 21:18


  1. 18:13

  2. 17:49

  3. 17:39

  4. 17:16

  5. 17:11

  6. 16:49

  7. 16:17

  8. 16:01


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel