KI = Kniffliger Irrgarten
Das geschieht mittels des Gradientenabstiegsverfahrens, deswegen die vom biologischen Vorbild abweichenden, stetigen, monotonen und differenzierbaren Aktivierungsfunktionen. Das klingt nach komplexer Mathematik – ist es auch ;-) -, aber eigentlich ist es einfach:
Die Verlustfunktion erzeugt im Prinzip eine Landschaft mit Höhen und Tiefen. Das Ziel ist, den tiefsten Punkt zu finden. Stellen wir uns einen Hügel inmitten einer weiten Ebene vor. Wir lassen darauf einen Ball fallen und der rollt, der Falllinie folgend, in die Ebene. Wir finden einen der unendlich vielen tiefsten Punkte. So weit, so gut, so einfach.
Nun stellen wir uns neben dem Hügel eine kleine Kuhle vor. Es ist sofort ersichtlich, dass der Startpunkt für die Qualität der Lösung eine entscheidende Rolle spielt: Startet der Ball nicht auf der richtigen Seite des Hügels, findet er die Kuhle nicht, sondern bleibt irgendwo auf der Ebene liegen.
Machen wir das Beispiel etwas lebendiger: Die perfekte Lösung ist der Meeresspiegel. Für das 1-GoL-Generationen-Problem starten die Bälle irgendwo in Strandnähe. Manche der Bälle bleiben in den Dünen hängen, andere in Fußspuren im Sand, nur wenige finden die Bootsrampe und laufen wirklich ins Meer und schwimmen. Mit dem Schwellwert für eine akzeptable Lösung zählen auch noch die Bälle als Erfolg, die zwar nass werden, aber in den Sandrippeln(öffnet im neuen Fenster) der Dünung hängen bleiben.
Für das 2-GoL-Generationen-Problem müssen die Bälle weiter weg vom Strand starten. Mehr von ihnen bleiben in lokalen Minima, also kleinen Senken hängen, und finden das Wasser nicht. Neben dem glücklichen Startplatz – der Straße, die zur Bootsrampe führt - beeinflussen auch die frühen Lernbeispiele den Erfolg. Sie bestimmen die initiale Richtung, in die der Ball läuft, so dass bei demselben Startpunkt der eine Ball im Meer und der andere Ball in einem Schlagloch endet.
Größere KNN und Trainingsdaten erlauben also, mehr Bälle und mehr Richtungen je Ball gleichzeitig zu verfolgen. Um drei oder mehr GoL-Generationen zu prognostizieren, starten die Bälle noch weiter vom Wasser weg. Die meisten kommen nicht einmal in die Nähe des Meeres, bei fünf GoL-Generationen gar keiner. An den erfolgreichen KNN weist die Studie nach, dass schon kleine Variationen an den Anfangsgewichten das Risiko eines Misserfolgs signifikant steigern. Ähnliches gilt für die Trainingsdatensätze.
Vor allem explodiert mit jeder zusätzlich zu prognostizierenden GoL-Generation der Bedarf an Trainingsmaterial. Nun ist die 32x32-GoL-Aufgabe der Studie ein Trivialproblem. Reale Probleme sind eher: Wir stehen in der Gebirgslandschaft eines fremden Planeten, auf dem es zwar sicherlich einen tiefsten Punkt gibt, ein Optimum, aber keinen Meeresspiegel, an dem wir das Erreichen des Optimums erkennen können. Wir werfen Fantastillionen Bälle in die Landschaft und deklarieren den Ball zur Lösung, der am tiefsten zum Liegen kommt – nicht zur besten Lösung überhaupt, sondern zur besten Lösung, die wir finden konnten.
Wer mit stolzgeschwellter Brust vom Optimum redet, hat das Verfahren nicht verstanden oder will manipulieren.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.