Abo
  • Services:
Anzeige
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen.
Deep Learning basiert auf der Funktionsweise menschlicher Nervenzellen. (Bild: Jan Homann/CC BY-SA 3.0)

Wissen repräsentieren und generalisieren

Schließlich werden diese wenigen latenten Merkmale noch stärker auf beispielsweise zwei Merkmalsklassen generalisiert: "Cool, weiterlesen" oder "Interessiert mich nicht". Weil er schon früher Texte gelesen hat, zum Beispiel auf Golem.de, sind dem Leser bereits Merkmale für diese zwei Klassen und die Entscheidung, die er damals für eine dieser beiden Merkmalsklassen getroffen hat, bekannt.

Sein Gehirn hat dieses Label der Entscheidung mit den latenten Merkmalen der Texte verlinkt. Aufgrund dieser Verlinkungsstruktur könnten Leser jetzt eine Vorhersage treffen: weiterlesen oder abbrechen.

Anzeige

Neuronen und Schwellwerte

Die erste Idee, diese Leistung des Gehirns auf das maschinelle Lernen zu übertragen, gab es bereits 1943. Der Neurologe Warren S. McCulloch und der Logiker Walter Pitts schlugen als Recheneinheiten künstliche Nervenzellen (Neuronen) vor, die miteinander verbunden sind. Ihr biologisches Vorbild sind Nervenzellen des Gehirns. Die McCulloch-Pitts-Neuronen senden erst ein Signal, wenn die Summe ihrer Inputs einen gewissen Schwellenwert überschritten hat. Ähnliche künstliche Nervenzellen (Neuronen) bilden auch heute noch die Bausteine für neuronale Netze als kleinste Recheneinheit.

Wie künstliche Neuronen funktionieren, ist in den Abbildungen 1 und 2 näher erläutert.

  • Abbildung 1 (Bild: Christian Herta)
  • Abbildung 2 (Bild: Christian Herta)
Abbildung 1 (Bild: Christian Herta)

In einem neuronalen Netz werden viele Neuronen zusammengeschaltet, um wie in einem Gehirn komplexe Aufgaben zu lösen. Eine typische einfache Architektur eines neuronalen Netzes zeigt Abbildung 3.

  • Abbildung 3 (Bild: Christian Herta)
Abbildung 3 (Bild: Christian Herta)

Abbildung 3: Die Recheneinheiten, die Neuronen, werden in einem neuronalen Netzwerk schichtweise zusammengeschaltet. Die Kreise stellen Neuronen dar. Zur Verdeutlichung ist ein Neuron blau hervorgehoben. Es erhält seine Eingabe direkt vom Eingang des neuronalen Netzes (x1, x2, ... xn) und berechnet seine Ausgabe, wie in Abbildung 1, beschrieben. Die Neuronen der nächsten Schicht (rechts von der Schicht mit dem blauen Neuron) bekommen als Eingabe die Ausgaben der Neuronenaktivitäten der Schicht des blauen Neurons. Die Information wird im neuronalen Netz also schichtweise verarbeitet und fließt hier von links nach rechts bis zum Ausgang des neuronalen Netzes (hier nur ein Ausgabe-Neuron). Ein neuronales Netz wird als tief bezeichnet, wenn es aus sehr vielen Schichten besteht.

Klassifikation und Vorhersage bei flachen neuronalen Netzwerken

Eine typische Problemstellung, die mit neuronalen Netzen gelöst werden kann, ist die Klassifikation von Datensätzen in vorgegebene Kategorien. Beispielsweise sollen Fotos in drei vorgegebene Klassen - Landschaftsbilder, Porträts oder Tieraufnahmen - eingeteilt werden. Dazu werden einzelne Datensätze durch eine diskrete (also bestimmbare/zählbare) Menge von Merkmalen (Features) beschrieben. Hat man etwa Fotos in RGB-Farbcodierung, so kann man pro Pixel drei Merkmale für die drei Farbwerte verwenden. Nehmen wir vereinfacht an, dass jedes Bild 1.000 x 1.000, also 1 Million Pixel aufweist, so hat man pro Foto 3 x 1 Million = 3 Millionen Merkmale. Die Merkmale spannen einen Merkmalsraum auf. Dabei wird jedes Bild durch einen Punkt im Merkmalsraum repräsentiert, wie in Abbildung 4 illustriert.

  • Abbildung 4 (Bild: Christian Herta)
Abbildung 4 (Bild: Christian Herta)

Abbildung 4: Ein Foto (hier zur Illustration nur 2 x 1 Pixel) mit jeweils einem Helligkeitswert pro Pixel (statt der RGB-Werte) kann als Punkt in einem zweidimensionalen Merkmalsraum dargestellt werden. Hier hat das Pixel 1 den Helligkeitswert 50 und das Pixel 2 den Helligkeitswert 100.

Für die Einteilung der Fotos in die drei Klassen benötigt man eine Funktion, die die Punkte des Merkmalsraumes auf die Klassen abbildet, wie in Abbildung 5 an dem zweidimensionalen Beispiel vereinfacht dargestellt.

  • Abbildung 5 (Bild: Christian Herta)
Abbildung 5 (Bild: Christian Herta)

Abbildung 5: Illustration einer einfachen Entscheidungsfunktion auf dem Merkmalsraum der Abbildung 4

Das neuronale Netzwerk versucht nun, anhand der vorgegebenen Beispiele eine Entscheidungsfunktion abzuleiten, also festzustellen, aus welchen Merkmalen sich eine Bildklasse ableiten lässt. Diese Entscheidungsfunktion klassifiziert beispielsweise die Punkte des 2D-Merkmalsraums in die Klasse der Fotos, deren Summe der Helligkeitswerte größer/gleich 100 beträgt (gelb), bzw. deren Summe niedriger als 100 ist (orange). Der Punkt, der dem Foto mit den Helligkeitswerten (50, 100) entspricht, wird auf die Klasse "Bild mit Summe größer 100" abgebildet, in Abbildung 5 ist das der gelbe Bereich.

Diese einfache Entscheidungsfunktion separiert beide Klassen durch eine gerade Trennlinie (grün). Für richtige Fotos ist die Entscheidungsfunktion viel komplexer. Hier kann keine einfache Trennlinie gefunden werden. Daher muss die ursprüngliche (hochdimensionale) Repräsentation des Bildes zunächst in eine einfachere - meist niedrigdimensionale - Repräsentation transformiert werden, die eine Klassenentscheidung ermöglicht (siehe Abbildung 6).

  • Abbildung 6 (Bild: Christian Herta)
Abbildung 6 (Bild: Christian Herta)

Abbildung 6: Vereinfachte Darstellung einer Merkmalstransformation für zwei Merkmale und drei Klassen. Im ursprünglichen Merkmalsraum haben wir eine komplizierte Abbildungsfunktion der Merkmale auf die Klassen. Nach der Transformation sind die Datenpunkte der unterschiedlichen Klassen im Raum durch einfache gerade Trennlinien (im allgemeinen Hyperebenen) voneinander abgegrenzt.

Diese Transformation wird im neuronalen Netz durch viele kleine, hintereinandergeschaltete Transformationen erreicht. Dabei führt jede (verdeckte) Schicht des neuronalen Netzes eine Transformation aus (vgl. Abbildung 3): Die ursprüngliche (Eingabe-) Repräsentation (x1, x2, ... xn) ergibt in der ersten verdeckten Schicht ein Neuronenaktivitätsmuster (Output der Neurone der Hidden Layer 1). Es kann - analog zu den Eingabewerten - als Punkt in einem neuen Merkmalsraum interpretiert werden.

Die ursprüngliche Merkmalsrepräsentation der Eingabe wurde somit in neue Merkmale, die Aktivitäten der ersten verdeckten Neuronenschicht, transformiert. Solche Transformationen der Repräsentation werden beim Deep Learning durch weitere verdeckte Schichten wiederholt. Die Merkmale (Neuronenaktivitäten) der letzten verdeckten Schicht ermöglichen dann eine einfache Klassenentscheidung, wie in Abbildung 6 rechts dargestellt (grün, rot oder blau).

 Deep Learning: Maschinen, die wie Menschen lernenWie funktioniert das Lernen mit neuronalen Netzwerken? 

eye home zur Startseite
kahmann 29. Okt 2015

Der Artikel hat mir gut gefallen. Nicht zuletzt auch, weil er sehr tief in die Materie...

jg (Golem.de) 15. Okt 2015

Jetzt müssten endlich auch mobil alle Bilder zu sehen sein!

natsan2k 08. Okt 2015

Schöner und interessanter Artikel.

attitudinized 08. Okt 2015

Tatsächlich hat Siri was mit lernen zutun - oder genauer mit Training. Die verwendete...

jg (Golem.de) 07. Okt 2015

Vielen Dank für das Lob, wir freuen uns!



Anzeige

Stellenmarkt
  1. YKK Stocko Fasteners GmbH, Wuppertal
  2. Bosch Service Solutions Magdeburg GmbH, Berlin
  3. über Hanseatisches Personalkontor Bremen, Stuttgart
  4. Bundes-Gesellschaft für Endlagerung mbH (BGE), Salzgitter, später Peine


Anzeige
Blu-ray-Angebote
  1. 299,99€ (Vorbesteller-Preisgarantie)
  2. 49,99€ mit Vorbesteller-Preisgarantie

Folgen Sie uns
       


  1. Netzneutralität

    Telekom darf Auflagen zu Stream On länger prüfen

  2. Spielebranche

    Kopf-an-Kopf-Rennen zwischen Pro und X erwartet

  3. Thunderobot ST-Plus im Praxistest

    Da gehe ich doch lieber wieder draußen spielen!

  4. Fahrdienst

    Alphabet investiert in Lyft

  5. Virtuelles Haustier

    Bandai kündigt "Classic Mini"-Version des Tamagotchi an

  6. News

    Facebook testet Abos für Nachrichten-Artikel

  7. Elon Musk

    Baut The Boring Company den Hyperloop?

  8. Mobilfunkausrüster

    Ericsson macht hohen Verlust

  9. Luminar

    Lightroom-Konkurrenz bringt sich in Stellung

  10. Kleinrechner

    Tim Cook verspricht Update für Mac Mini



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Krack-Angriff: Kein Grund zur Panik
Krack-Angriff
Kein Grund zur Panik
  1. Neue WLAN-Treiber Intel muss WLAN und AMT-Management gegen Krack patchen
  2. Ubiquiti Amplifi und Unifi Erster Consumer-WLAN-Router wird gegen Krack gepatcht
  3. Krack WPA2 ist kaputt, aber nicht gebrochen

Flettner-Rotoren: Wie Schiffe mit Stahlsegeln Treibstoff sparen
Flettner-Rotoren
Wie Schiffe mit Stahlsegeln Treibstoff sparen
  1. Hyperflight China plant superschnellen Vactrain
  2. Sea Bubbles Tragflächen-Elektroboote kommen nach Paris
  3. Honolulu Strafe für Handynutzung auf der Straße

Cybercrime: Neun Jahre Jagd auf Bayrob
Cybercrime
Neun Jahre Jagd auf Bayrob
  1. Antivirus Symantec will keine Code-Reviews durch Regierungen mehr
  2. Verschlüsselung Google schmeißt Symantec aus Chrome raus
  3. Übernahme Digicert kauft Zertifikatssparte von Symantec

  1. Re: 4 GByte RAM - Hat der Threat eigentlich noch...

    Auskenner76 | 14:16

  2. Re: "kann zwar kein Benzintank explodieren"

    bombinho | 14:15

  3. Re: Langweilt das nicht langsam mal?

    III | 14:14

  4. Re: Das Spiel unterstützt Playstation VR

    Accolade | 14:11

  5. Re: Alte Hardware

    thunderbird487 | 14:11


  1. 14:37

  2. 12:50

  3. 12:22

  4. 11:46

  5. 11:01

  6. 10:28

  7. 10:06

  8. 09:43


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel