Fermi-Schätzung zur Emergenz einer AGI
Wilde SF-Phantasien und fabelhafte Zukunftsvisionen sind im KI-Umfeld ja erlaubt. Dann legen wir mal los ...
Ich schätze die KNN-Parameter-Anzahl ab, die nötig wäre, um die Komplexität eines menschlichen Gehirns und damit eine eventuelle Emergenz einer AGI zu erreichen. Denn die 1:1-Entsprechung zwischen neurologischen und biologischen Neuronen ist hart widerlegt, und so bleibt der Emergenztheorie als Komplexitätsmaß nur noch die Annahme, dass jede Verbindung in einem Konnektom durch einen Parameter im KNN modelliert werden kann und muss.
Die sich ergebenden Parameteranzahlen werde ich grafisch in Relation zu der öffentlichen Datensammlung von Epoch AI setzen, um die nötigen Investitionen sowie den Strombedarf abzuschätzen.
Um die Unschärfe der Schätzung sichtbar zu machen, nehme ich drei parallele Schätzungen für die nötige Parameteranzahl eines KNN vor: eine Optimum-Schätzung (niedrigste, also günstigste, Werte für die KNN aus oben angeführten Quellen), eine Mittelweg-Schätzung (meines Erachtens plausible Werte auf Basis der Quellen, höher als Optimum, aber immer noch konservativ) sowie eine Pessimum-Schätzung(öffnet im neuen Fenster) (hohe, also für KNN ungünstige Werte aus den Quellen).
In der Tabelle kennzeichnet jeweils die Zahl im violetten Kreis die im Artikel bisher diskutierten verschiedenen Ansätze, die für eine Emergenz nötige Komplexität eines menschlichen Gehirns zu schätzen, wobei wir uns auf die Konnektome beschränken, weil künstliche und biologische Neuronen ja keinesfalls äquivalent sind.
Die Daten zu KNNs habe ich von Epoch AI bezogen, Data on AI Models(öffnet im neuen Fenster), Stand 17. März 2026 – insgesamt 3.237 Datensätze. Ich beschränke mich auf die Zeit des Deep Learning – also ab 2010, 3.067 Datensätze. Die Zeitspanne wird gewählt, um bei der Fitting-Funktion eventuell auch die Verbesserung durch technologische Entwicklungen modellieren zu können.
Die Verlässlichkeit der Daten bewertet Epoch AI nur bei 2.169 Datensätzen als "confident" oder "likely". 1.373 Datensätze davon betreffen multimodale oder Sprachmodelle – diese generativen und universellen KNNs selektiere ich als potenzielle Kandidaten für Emergenz. Die anderen sind zu spezialisiert. Nichts gegen spezialisierte KNNs: Meiner Meinung nach stellen Klassifikation, Optimierung etc. die Anwendungsgebiete dar, in denen KNNs wirklich vorteilhaft sind und echten Nutzen generieren können.
Davon sind lediglich 241 Datensätze (17,6 Prozent) für diese Analyse nutzbar. Nur sie enthalten die Zahl der KNN-Parameter sowie wenigstens Angaben zu Kosten oder Strombedarf. Diese erschütternd dünne Datenlage ist ziemlich scheinheilig für eine Branche, deren öffentliches Credo doch lautet, jeder müsse bereitwillig alle Daten für das KI-Lernen zur Verfügung stellen und Vorbehalte wie Datenschutz seien gesellschaftsschädigend.
Leider erweisen sich auch diese 241 Datensätze nicht alle als brauchbar: Die abgeleiteten Werte wie Strombedarf oder Kosten je Parameter spannen mehrere Größenordnungen auf – und sind teils offenkundig unplausibel: Wenn etwa die Obergrenze für die Kosten einer kWh weit unter 1 Cent liegt (oder bei deutschen Modellen zumindest unter 10 Cent), dann ist klar, dass die Angaben nicht korrekt sein können, obwohl Epoch AI die Datenverlässlichkeit als "confident" bewertet. Trainingskosten von unter 1.000 US-Dollar für große Modelle (ᐳ1 Milliarde Parameter) sind ebenfalls fragwürdig.
Die Domain-Zuordnung ist auch nur mäßig konsistent, wenn man sie gegen die genaue Task-Beschreibung abgleicht (Beispiel: reine Codegenerierung wird als "Domain Language" kategorisiert). Auch große KNN mit unter einem Tag Training sind suspekt – wahrscheinlich ist es nur ein Feintuning.
Nach manueller Sichtung der Leistungsbeschreibungen und der Extremwerte verbleiben 160 nutzbare Datensätze ab etwa 2015, von denen die Datenquelle die Belastbarkeit bei 31 nur als "likely" bewertet.
Aus dieser Datenbasis leite ich nun den Strombedarf als Produkt aus Trainingsstunden und Leistungsaufnahme ab sowie den Strombedarf und Kosten je KNN-Parameter.
Wenn wir den Rechenaufwand [FLOP] gegen die Zahl der KNN-Parameter N in einem doppelt-logarithmischen Graphen auftragen, sehen wir einen klaren Zusammenhang, der einem Potenzgesetz folgt: 1,16·1011 · N1,155. Der Rechenaufwand steigt also mit der Modellgröße überproportional.
Das ist aus zwei Gründen zu erwarten: Einerseits erfordern größere Modelle grundsätzlich größere Trainingsdatensätze. Andererseits führt die Vergrößerung mancher Details je nach Architektur des KNN auch zu quadratischen Aufwandssteigerungen. Hier sehen wir das Potenzgesetz über all diese Varianten.
Tragen wir auf einer logarithmischen Y-Achse den Strombedarf und Kosten je KNN-Parameter gegen die Zeit auf, sehen wir keinen signifikanten Trend, sondern etwa gleichbleibenden Aufwand mit eher abnehmender Schwankungsbreite. Tatsächlich ist das ein Abbild des technischen Fortschritts: Die Modellgrößen steigen kontinuierlich mit der Zeit – den Graph kann man bei Epoch AI leicht selbst generieren. Gleichzeitig steigt der Rechenaufwand mit einer kleinen Potenz der Modellgröße. Die relative Konstanz des Aufwands je Parameter belegt also die Verbesserung.
Auch die typische technologische Wellenbewegung lässt sich erahnen (und mit einem sehr schlechten polynomialen Fit auch sichtbar machen): Um die Grenzen des Machbaren zu dehnen, wird neue, komplexe Technik entwickelt. Die Kosten steigen, Energieeffizienz ist eine nachrangige Erwägung. Die neue Technik etabliert sich in Serienproduktion und es wird an ihrer Effizienz gearbeitet: Kosten und Strombedarf sinken – bei den Kosten gibt es 2020 und 2021 eine Delle, beim Strombedarf 2021 und Anfang 2022. Da die Modelle weiter vergrößert werden sollen, müssen die Grenzen des Machbaren wieder gedehnt werden.
Als letzten Vorbereitungsschritt tragen wir den Strombedarf und die Kosten gegen die Größe der KNN auf, also die Parameteranzahl – wieder in einem doppelt-logarithmischen Graphen.
Erfreulicherweise lassen sich beide über eine lineare Regression gut beschreiben – und damit extrapolieren. Und im Lichte der ersten beiden Graphen ist das auch plausibel.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.