Abo
  • Services:
Anzeige
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen.
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen. (Bild: Jan Homann/CC BY-SA 3.0)

Wissen repräsentieren und generalisieren

Schließlich werden diese wenigen latenten Merkmale noch stärker auf beispielsweise zwei Merkmalsklassen generalisiert: "Cool, weiterlesen" oder "Interessiert mich nicht". Weil er schon früher Texte gelesen hat, zum Beispiel auf Golem.de, sind dem Leser bereits Merkmale für diese zwei Klassen und die Entscheidung, die er damals für eine dieser beiden Merkmalsklassen getroffen hat, bekannt.

Sein Gehirn hat dieses Label der Entscheidung mit den latenten Merkmalen der Texte verlinkt. Aufgrund dieser Verlinkungsstruktur könnten Leser jetzt eine Vorhersage treffen: weiterlesen oder abbrechen.

Anzeige

Neuronen und Schwellwerte

Die erste Idee, diese Leistung des Gehirns auf das maschinelle Lernen zu übertragen, gab es bereits 1943. Der Neurologe Warren S. McCulloch und der Logiker Walter Pitts schlugen als Recheneinheiten künstliche Nervenzellen (Neuronen) vor, die miteinander verbunden sind. Ihr biologisches Vorbild sind Nervenzellen des Gehirns. Die McCulloch-Pitts-Neuronen senden erst ein Signal, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschritten hat. Ähnliche künstliche Nervenzellen (Neuronen) bilden auch heute noch die Bausteine für neuronale Netze als kleinste Recheneinheit.

Wie künstliche Neuronen funktionieren, ist in den Abbildungen 1 und 2 näher erläutert.

  • Abbildung 1 (Bild: Christian Herta)
  • Abbildung 2 (Bild: Christian Herta)
Abbildung 1 (Bild: Christian Herta)

In einem neuronalen Netz werden viele Neuronen zusammengeschaltet, um wie in einem Gehirn komplexe Aufgaben zu lösen. Eine typische einfache Architektur eines neuronalen Netzes zeigt Abbildung 3.

  • Abbildung 3 (Bild: Christian Herta)
Abbildung 3 (Bild: Christian Herta)

Abbildung 3: Die Recheneinheiten, die Neuronen, werden in einem neuronalen Netzwerk schichtweise zusammengeschaltet. Die Kreise stellen Neuronen dar. Zur Verdeutlichung ist ein Neuron blau hervorgehoben. Es erhält seine Eingabe direkt vom Eingang des neuronalen Netzes (x1, x2, ... xn) und berechnet seine Ausgabe, wie in Abbildung 1, beschrieben. Die Neuronen der nächsten Schicht (rechts von der Schicht mit dem blauen Neuron) bekommen als Eingabe die Ausgaben der Neuronenaktivitäten der Schicht des blauen Neurons. Die Information wird im neuronalen Netz also schichtweise verarbeitet und fließt hier von links nach rechts bis zum Ausgang des neuronalen Netzes (hier nur ein Ausgabe-Neuron). Ein neuronales Netz wird als tief bezeichnet, wenn es aus sehr vielen Schichten besteht.

Klassifikation und Vorhersage bei flachen neuronalen Netzwerken

Eine typische Problemstellung, die mit neuronalen Netzen gelöst werden kann, ist die Klassifikation von Datensätzen in vorgegebene Kategorien. Beispielsweise sollen Fotos in drei vorgegebene Klassen - Landschaftsbilder, Porträts oder Tieraufnahmen - eingeteilt werden. Dazu werden einzelne Datensätze durch eine diskrete (also bestimmbare/zählbare) Menge von Merkmalen (Features) beschrieben. Hat man etwa Fotos in RGB-Farbcodierung, so kann man pro Pixel drei Merkmale für die drei Farbwerte verwenden. Nehmen wir vereinfacht an, dass jedes Bild 1.000 x 1.000, also 1 Million Pixel aufweist, so hat man pro Foto 3 x 1 Million = 3 Millionen Merkmale. Die Merkmale spannen einen Merkmalsraum auf. Dabei wird jedes Bild durch einen Punkt im Merkmalsraum repräsentiert, wie in Abbildung 4 illustriert.

  • Abbildung 4 (Bild: Christian Herta)
Abbildung 4 (Bild: Christian Herta)

Abbildung 4: Ein Foto (hier zur Illustration nur 2 x 1 Pixel) mit jeweils einem Helligkeitswert pro Pixel (statt der RGB-Werte) kann als Punkt in einem zweidimensionalen Merkmalsraum dargestellt werden. Hier hat das Pixel 1 den Helligkeitswert 50 und das Pixel 2 den Helligkeitswert 100.

Für die Einteilung der Fotos in die drei Klassen benötigt man eine Funktion, die die Punkte des Merkmalsraumes auf die Klassen abbildet, wie in Abbildung 5 an dem zweidimensionalen Beispiel vereinfacht dargestellt.

  • Abbildung 5 (Bild: Christian Herta)
Abbildung 5 (Bild: Christian Herta)

Abbildung 5: Illustration einer einfachen Entscheidungsfunktion auf dem Merkmalsraum der Abbildung 4

Das neuronale Netzwerk versucht nun, anhand der vorgegebenen Beispiele eine Entscheidungsfunktion abzuleiten, also festzustellen, aus welchen Merkmalen sich eine Bildklasse ableiten lässt. Diese Entscheidungsfunktion klassifiziert beispielsweise die Punkte des 2D-Merkmalsraums in die Klasse der Fotos, deren Summe der Helligkeitswerte größer/gleich 100 beträgt (gelb), bzw. deren Summe niedriger als 100 ist (orange). Der Punkt, der dem Foto mit den Helligkeitswerten (50, 100) entspricht, wird auf die Klasse "Bild mit Summe größer 100" abgebildet, in Abbildung 5 ist das der gelbe Bereich.

Diese einfache Entscheidungsfunktion separiert beide Klassen durch eine gerade Trennlinie (grün). Für richtige Fotos ist die Entscheidungsfunktion viel komplexer. Hier kann keine einfache Trennlinie gefunden werden. Daher muss die ursprüngliche (hochdimensionale) Repräsentation des Bildes zunächst in eine einfachere - meist niedrigdimensionale - Repräsentation transformiert werden, die eine Klassenentscheidung ermöglicht (siehe Abbildung 6).

  • Abbildung 6 (Bild: Christian Herta)
Abbildung 6 (Bild: Christian Herta)

Abbildung 6: Vereinfachte Darstellung einer Merkmalstransformation für zwei Merkmale und drei Klassen. Im ursprünglichen Merkmalsraum haben wir eine komplizierte Abbildungsfunktion der Merkmale auf die Klassen. Nach der Transformation sind die Datenpunkte der unterschiedlichen Klassen im Raum durch einfache gerade Trennlinien (im allgemeinen Hyperebenen) voneinander abgegrenzt.

Diese Transformation wird im neuronalen Netz durch viele kleine, hintereinandergeschaltete Transformationen erreicht. Dabei führt jede (verdeckte) Schicht des neuronalen Netzes eine Transformation aus (vgl. Abbildung 3): Die ursprüngliche (Eingabe-) Repräsentation (x1, x2, ... xn) ergibt in der ersten verdeckten Schicht ein Neuronenaktivitätsmuster (Output der Neurone der Hidden Layer 1). Es kann - analog zu den Eingabewerten - als Punkt in einem neuen Merkmalsraum interpretiert werden.

Die ursprüngliche Merkmalsrepräsentation der Eingabe wurde somit in neue Merkmale, die Aktivitäten der ersten verdeckten Neuronenschicht, transformiert. Solche Transformationen der Repräsentation werden beim Deep Learning durch weitere verdeckte Schichten wiederholt. Die Merkmale (Neuronenaktivitäten) der letzten verdeckten Schicht ermöglichen dann eine einfache Klassenentscheidung, wie in Abbildung 6 rechts dargestellt (grün, rot oder blau).

 Deep Learning: Maschinen, die wie Menschen lernenWie funktioniert das Lernen mit neuronalen Netzwerken? 

eye home zur Startseite
kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Anzeige

Stellenmarkt
  1. Zentrale Polizeidirektion des Landes Niedersachsen, Hannover
  2. Software AG, verschiedene Standorte
  3. Statistisches Bundesamt, Wiesbaden
  4. ETAS GmbH, Stuttgart


Anzeige
Spiele-Angebote
  1. 15,99€
  2. (-65%) 6,99€
  3. (-10%) 17,99€

Folgen Sie uns
       


  1. Handheld

    New Nintendo 2D XL vorgestellt

  2. Apple

    Preiserhöhung für europäischen App Store verordnet

  3. Airbus A350-1000XWB

    Ein Blick ins Innere eines Testflugzeugs

  4. Amazon

    Echo-Lautsprecher mit Bildschirm soll im Mai kommen

  5. Tesla-Zukauf

    Firmengründer Grohmann ging offenbar im Streit

  6. Zahlungssystem

    Apple Pay soll Überweisungen zwischen Freunden ermöglichen

  7. Google

    Alphabet macht weit über 5 Milliarden Dollar Gewinn

  8. Quartalsbericht

    Microsofts Zukunft ist erfolgreich in die Cloud verschoben

  9. Quartalsbericht

    Amazon macht erneut riesigen Gewinn

  10. Datenschutzverordnung im Bundestag

    "Für uns ist jeden Tag der Tag der inneren Sicherheit"



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Spielebranche: "Ungefähr jetzt ist der Prinzessin-Leia-Moment"
Spielebranche
"Ungefähr jetzt ist der Prinzessin-Leia-Moment"
  1. id Software "Global Illumination ist derzeit die größte Herausforderung"
  2. Spielentwickler Männlich, 34 Jahre alt und unterbezahlt
  3. Let's Player Auf Youtube verkauft auch die Trashnight Spiele

DLR-Projekt Eden ISS: Das Paradies ist ein Container
DLR-Projekt Eden ISS
Das Paradies ist ein Container
  1. Weltraumschrott "Der neue Aspekt sind die Megakonstellationen"
  2. Transport Der Güterzug der Zukunft ist ein schneller Roboter
  3. "Die Astronautin" Ich habe heute leider keinen Flug ins All für dich

Radeon RX 580 und RX 570 im Test: AMDs Grafikkarten sind schneller und sparsamer
Radeon RX 580 und RX 570 im Test
AMDs Grafikkarten sind schneller und sparsamer
  1. Grafikkarte Manche Radeon RX 400 lassen sich zu Radeon RX 500 flashen
  2. Radeon Pro Duo AMD bringt Profi-Grafikkarte mit zwei Polaris-Chips
  3. Grafikkarten AMD bringt vier neue alte Radeons für Komplett-PCs

  1. Fußball Streams

    Pacony | 10:28

  2. Reichweite

    horotab | 10:27

  3. Re: Freizeit

    neocron | 10:27

  4. Wenn die Entwickler die Preise anpassen können....

    ghostbuster | 10:26

  5. Re: Firmengründer "VON" Grohmann ging offenbar im...

    smonkey | 10:25


  1. 10:27

  2. 10:12

  3. 09:36

  4. 08:44

  5. 07:52

  6. 07:19

  7. 00:11

  8. 23:21


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel