Und wo liegen die KNNs?
Für Perceptrons und alle mehrlagigen MCP-basierten RNNs ist seit Minskys Beweis von 1954 bekannt, dass sie nur die Mächtigkeit endlicher Automaten besitzen. Nach Entzauberung der Hypercomputation ist die nächste Verteidigungslinie der AGI-Gläubigen die Turing-Mächtigkeit – mit einigen bizarren Argumentationen. Lassen wir alle Unendlichkeitstricks à la Hypercomputation beiseite, bleiben im Wesentlichen die folgenden übrig.
Die neuronale Turing-Maschine
Man kann ein KNN konstruieren, das mit einem endlosen Speicherband die Mächtigkeit einer Turingmaschine erlangt. Richtig. Bloß beweist das nur, dass dieser KNN-Schreib/Lesekopf (mindestens) die Mächtigkeit eines endlichen Automaten hat, nicht mehr: Genauso ist nämlich die Turingmaschine definiert.
Tatsächlich legt der Beweis sogar nahe, dass das KNN nur die Mächtigkeit eines endlichen Automaten habe: Hätte das KNN nämlich die Mächtigkeit eines Stackautomaten, hätte man statt des Bandes nur einen Stack als externen Speicher verwendet. Denn ein Stackautomat mit einem zusätzlichen, zweiten Stack ist Turing-äquivalent. Das erschließt sich spätestens, wenn ich den einen Stack "linke Bandhälfte" und den anderen "rechte Bandhälfte" taufe.
Universal Approximation Theorem
KNN können beliebige stetige Funktionen beliebig gut annähern (naja, mit den üblichen grobgranularen FLOATs in der Praxis nicht wirklich). Das ist ohne jede Theorie leicht einzusehen: Die Annäherung erfolgt über eine Treppenfunktion. Einzelne Neuronen feuern in einem bestimmten Intervall und addieren so jeweils etwas auf den Ausgangswert hinzu.
Turingmaschinen können diese Funktionen natürlich auch beliebig annähern, also – so der (Fehl)schluss – sind KNN Turing-mächtig. Die Argumentation verkennt, dass die Turingmaschinen die Funktionen selbst berechnen können – so wie übrigens auch nicht-stetige Funktionen -, während KNN sie von einer externen Quelle lernen müssen.
Diese Argumentation ist ähnlich stichhaltig wie: Wenn man Bachs oder Mozarts Musik lesen und spielen kann, hätte man die Werke natürlich auch selbst schreiben können und ist ein gleichwertiges musikalisches Genie.
Game of Life
Das nächste Argument ist dann: Game of Life ist Turing-mächtig und KNNs können Game of Life (GoL) simulieren. Fangen wir mit dem ersten Halbsatz des Arguments an: Ja, GoL(öffnet im neuen Fenster) ist Turing-mächtig (und faszinierend!) und der Beweis ist wundervoll: Rendell hat eine Turingmaschine in GoL realisiert(öffnet im neuen Fenster)!
Die Eckdaten: Ein Berechnungsschritt dieser Turingmaschine benötigt 11.040 GoL-Generationen. Der Lesekopf (samt ein bisschen Band, um die Bounding-Box zu füllen) belegt 1.714 × 1.647 GoL-Zellen(öffnet im neuen Fenster). Als Beleg für den zweiten Halbsatz werden häufig Implementierungen(öffnet im neuen Fenster) und die Studie(öffnet im neuen Fenster) angeführt.
Ersteres realisiert mit verschiedenen KNN-Typen je eine auf 16 × 16 begrenzte GoL-Implementierung. Es dürfte keine Unterschiede zwischen den grafischen Darstellungen "state at time t+1" (korrekte Lösung) und "reconstructed state at time t+1" (KNN-Lösungswahrscheinlichkeiten) geben, wenn das KNN verlässlich die korrekte Lösung liefern würde. Die sichtbaren Unterschiede visualisieren die Restfehlerraten je GoL-Generation, die selbst beim besten KNN auch nach langem Lernen keinesfalls vernachlässigbar sind.
Für die Studie konstruieren die Autoren manuell ein KNN, das GoL perfekt simuliert. Dann werden KNNs angelernt, auf Basis einer Million algorithmisch korrekt generierter Testdaten, begrenzt auf 32 × 32 GoL-Zellen. Als "erfolgreiche KNN" werden solche bezeichnet, die ≤ 1 Prozent Fehler generieren – spätestens nach fünf GoL-Generationen erfüllt kein KNN mehr dieses Erfolgskriterium. (Wir werden bei der Betrachtung der Grenzen und der Effizienz von KNN noch einmal auf diese Studie zurückkommen.)
Angesichts der Fehlerraten und der kleinen, abgeschnittenen GoL-Bretter wird schon deutlich, warum der zweite Halbsatz der Argumentation nicht trägt.
Fakt ist: Ein KNN, das ein kleines GoL-Brett korrekt simulieren könnte, kann zwar konstruiert werden, aber die KI-Learning-Mechanismen finden es nicht.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.