KI = Keine Intelligenz?

Schauen wir mal, was KI – konkret KNN – so draufhaben, wenn sie nicht bei menschlichen Leistungen spicken können. Wir fangen simpel an, und ganz früh: im Jahr 1969.

Minsky und Papert veröffentlichten das Buch Perceptrons. Vieles wäre über den Wikipedia-Artikel hinaus dazu zu sagen. Ich erspare uns das. Ich kenne das Buch. Das einzige valide Argument ist IMHO das Problem der Connectedness und einige verwandte Probleme. Perceptron ist der alte Name für mehrlagige KNN, der im ersten KI-Winter unterging.

Stellen wir uns eine klassische 7-Segment-Anzeige vor, mit einer kleinen Komplikation, siehe Abbildung. Die drei horizontalen Segmente sind immer eingeschaltet, aber teleskopierbar.

Bild 1/4: KI3 Connectedness (Grafik: eigene Darstellung)

Bild 2/4: Doppelt-logarithmische Graphen sind nicht einfach zu lesen und führen leicht in die Irre. Daher habe ich die Kernaussagen zur Beziehung zwischen Rechenaufwand (bei optimal skaliertem Modell und Trainingsdatensatz) zum erzielbaren Loss graphisch aufbereitet. Zuerst doppelt-logarithmisch, wie in den beiden Studien. Wenn man die Geraden "runterrutscht", müsste man doch eigentlich...

Bild 3/4: Hier ist die Y-Achse, also der Loss, linear dargestellt, der Rechenaufwand auf der X-Achse weiterhin logarithmisch. Man sieht die Kurvenverläufe, wo vorher Geraden waren und ahnt: Das wird vielleicht doch nicht ganz so einfach...

Bild 4/4: Nun stellen wir alle Achsen linear dar und spätestens jetzt sollte leicht erkennbar sein, wovon gesprochen wird, wenn es heißt, die KI bzw. LLMs laufen in eine Wand. Entscheidende Verbesserungen bei der Genauigkeit bzw. der Fehlerrate sind mit dieser Technik praktisch aussichtslos... (Grafiken: eigene Darstellung)

Nun verbleiben vier vertikale Segmente, in der Abbildung mit A, B, C, D bezeichnet. Die können individuell ein- oder ausgeschaltet sein. Es gibt somit nur 16 verschiedene Szenarien: solche, in denen alle angeschalteten Segmente verbunden sind (die Anzeigen 3 S 8 6 und deren Spiegelungen und Rotationen), isolierte Segmente sowie Konstellationen, die eine Fläche umschließen und so ein Innen und Außen haben (wie etwa 8 6 und deren Spiegelungen und Rotationen).

KNN, die mit einer Kamera Bildauswertung machen und die Pixel der Kamera als Input erhalten, können diese Gebilde grundsätzlich nicht klassifizieren, sobald die horizontalen Segmente länger sind als das Kamerabild breit ist.

Das Problem ist lösbar, sowohl klassisch als auch mit KI. Aber KNN selbst können keine Lösung ableiten. Es mag sein, dass irgendwo in den vielen Publikationen im Internet eine Lösung eingespeist wurde und LLMs diese wiederkäuen können. Ohne dieses Spicken können LLMs aber keine Lösung finden.

Unfair? Eigentlich nicht, aber nehmen wir stattdessen eine Aufgabe, die mit KNN definitiv lösbar ist, um deren Leistungsfähigkeit zu beurteilen.

1. Maschinenträume 3: KI = Künstliche Ignoranz?
2. KI = Keine Intelligenz?
3. KI = Klare Ineffizienz
4. KI = Kniffliger Irrgarten
5. KI = Krasse Investitionen
6. KI = Kostspielige Irrtümer
7. KI = Kwatsch Inklusive