KI = Klare Ineffizienz
Dazu kehren wir zu der Studie(öffnet im neuen Fenster) zurück, die wir in der zweiten Folge zur Entkräftung eines Scheinarguments benutzt hatten. Die birgt wertvolle Erkenntnisse und verdient die Würdigung, dass die Autoren das Pruning von KNN und die Lottery-Ticket-Hypothese untersuchten.
Basis ihrer Experimente ist John Horton Conways Game of Life(öffnet im neuen Fenster). Die Aufgabe der KNN ist, N Generationen auf einem endlichen 32x32-Brett in einem Durchgang korrekt zu berechnen. Streng genommen ist es dadurch kein Game of Life mehr.
Die Eleganz des Versuchsaufbaus liegt darin, dass die korrekte Lösung der nächsten GoL-Generation einfach klassisch berechnet werden kann und ebenso einfach große Trainingsdatensätze generiert werden können.
Außerdem konnten die Autoren manuell die Gewichte für ein optimales KNN konstruieren, das N Generationen von Game of Life in einem Durchgang korrekt berechnen kann. Dazu konstruierten sie ein Basiselement, das eine 3x3-Nachbarschaft auswertet und daraus den Folgewert des mittleren Feldes bestimmt. Das Element wird wiederholt, um das 32x32-Brett abzudecken, und gestapelt, bis die gewünschte Anzahl von Generationen berechnet wird. Es gibt eine perfekte Lösung als Baseline, an der sich die Qualität der von den KNN durch Lernen gefundenen Lösungen messen lässt.
Für das 1-Generationen-GoL-Problem konvergieren nur 4,7 Prozent der KNN-Trainingsversuche mit derselben Größe wie die Baseline auf eine akzeptable Lösung. Dazu bedarf es glücklich gewürfelter Anfangsgewichte und initialer Trainingsdaten. Kein KNN minimaler Größe findet eine akzeptable Lösung für zwei oder mehr GoL-Generationen. Akzeptabel ist aus Sicht der Studie ein Wert der Verlustfunktion "binary cross-entropy loss" ᐸ0,01.
Diese Verlustfunktion ist zwar gut zum Steuern des Lernvorgangs, liefert aber keine direkte Aussage zur Fehlerrate; die Autoren leider ebenso wenig. Meine Abschätzungen unter der Annahme einer hohen Selbstsicherheit des KNN bei dessen Prognosen landen alle bei einer Fehlerrate im Promillebereich.
Wer Game of Life kennt oder sich etwas eingelesen hat(öffnet im neuen Fenster), weiß: Eine oder zwei GoL-Generationen auf einem 32x32-Feld zu berechnen, ist einerseits eine triviale Anfängeraufgabe, die aber andererseits auch keine Fehler toleriert, weil diese mit jeder weiteren Generation verstärkt werden.
Für eine 50-prozentige Erfolgschance bei Trainingsversuchen für das 1- oder 2-GoL-Generationen-Problem müssen KNN drei- bis viermal umfangreicher sein als die jeweilige perfekte Lösung. Diese Erfolgschance wird für drei oder mehr GoL-Generationen nie erreicht und zumindest nicht bei bis zu 24-fach größeren KNN als die Baseline – dem Punkt, an dem die Studie aus Aufwandsgründen (!) abbricht.
Will man akzeptable Lösungen mit ziemlicher Sicherheit erreichen, müssen für das 1-GoL-Generationen-Problem die KNN mindestens sechsmal größer sein als das Minimum und für das 2-GoL-Generationen-Problem zehnmal größer. Der Ressourcenverbrauch übersteigt selbst für diese trivialen Aufgaben das jeweilige Minimum deutlich. Warum dieser Overhead?
KI = Keine Ideen
Die Autoren der Studie verstehen die Struktur von GoL und damit, dass das Aneinanderreihen des oben beschriebenen Basiselements reicht, um das Brett abzudecken, und die Stapelung dieser Struktur, um mehrere Generationen aufeinander aufbauend zu berechnen.
KI versteht nichts davon. KI kann nicht abstrahieren und nicht die Idee entwickeln, den gesamten Lernaufwand in ein perfektes Basiselement zu investieren und es zu replizieren, um zu einer Lösung zu kommen.
Jede Zelle auf dem Brett und jede Generationsschicht im KNN werden vollkommen unabhängig voneinander gelernt. So kann sich dieselbe Struktur – etwa ein Blinker – an verschiedenen Stellen des Bretts unterschiedlich verhalten. Auch von Generation zu Generation kann sich das Verhalten ändern. Damit erklärt sich leicht, warum in der Studie nur ein kleiner Teil der Lernversuche für drei bis vier Generationen die Akzeptanzschwelle schafft und bei fünf Generationen keiner.
Das Lernen von KNN hat nichts mit Denken zu tun, sondern bestenfalls mit plumpem Auswendiglernen. Tatsächlich besteht das Lernen darin, eine Näherung an die im Trainingsmaterial vorgefundene mathematische Funktion zu finden.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.