KI = Kostspielige Irrtümer
Das ist nicht auf diese GoL-Studie beschränkt, sondern ein generelles und fundamentales Problem. IEEE Spectrum veröffentlichte dazu einen Text(öffnet im neuen Fenster). Insgesamt ist er lesenswert, besonders interessant sind zwei Grafiken, die den Aufwand zur Reduktion der Fehlerrate von LLMs in Bezug zur Zeit, CO2-Ausstoß und Rechenaufwand setzen.
Wie schon bei symbolischer KI der 1980er Jahre schlägt die Komplexitätstheorie auch bei KNN und Deep Learning (DL) schmerzhaft zu: Soll die Fehlerrate um den Faktor 1/k sinken, kostet das rein theoretisch den k4-fachen Aufwand. Basierend auf der Auswertung von mehr als tausend Studien zu DL findet der IEEE-Spectrum-Artikel aber praktisch einen Faktor von k9 – ein Wachstum in der neunten Potenz. Jede Halbierung der Fehlerrate erfordert also mehr als das 500-Fache an Rechenleistung – 512=29. Die Fehlerraten sind so hoch, dass mir für sicherheitsrelevante Anwendungen eine drastische Reduktion nötig scheint.
Im Jahr 2020 gab es eine Studie zum Neural Scaling(öffnet im neuen Fenster), zur optimalen Skalierung von LLMs in verschiedenen Dimensionen. Uns interessieren hier vor allem die ersten beiden Abbildungen auf Seite 3 und 4. Sie zeigen, wie die Reduktion des Test Loss, die Reduktion der Fehlerrate und Verbesserung der Genauigkeit in der Validierungsphase, in eine Wand laufen.
Es gibt eine asymptotische Grenze für den erreichbaren Test Loss in Relation zur aufgewendeten Rechenleistung: Loss = (Konstante x Compute)-0,05. Die LLMs schmiegen sich dieser Grenze von oben, also höheren Fehlraten, an. Der Loss lässt sich entlang der Grenze mit zusätzlicher Rechenleistung eine Weile verbessern, dann biegt die Kurve nach rechts ab und die Verbesserung kommt zum Erliegen.
Es braucht dann größere Modelle mit mehr Trainingsmaterial, um entlang der Grenze weiter abzusteigen. Eine Halbierung des für die Modellperformance im realen Einsatz praxisrelevanteren Test Loss erfordert übrigens millionenfachen Aufwand, steigt somit in der zwanzigsten Potenz. Analoge Potenzgesetze gelten auch für andere KNN-Einsatzfelder, bloß mit jeweils domänenspezifischen Konstanten.
Im Jahr 2022 kam die Chinchilla-Scaling-Studie(öffnet im neuen Fenster) zu anderen Ergebnissen, vor allem hinsichtlich eines größeren Bedarfs an Trainingsmaterial für LLMs. Sie arbeitet allerdings mit dem Training Loss, der meist niedriger ist als der Test Loss und weniger über die Modellperformance im realen Einsatz aussagt.
Uns interessiert die Abbildung 2 auf Seite 5. Diese zeigt, dass die asymptotische Grenze ebenfalls leicht nach rechts kurvt. Das wird in Abbildung A5 auf Seite 28 ein wenig vertieft: Die scheinbaren Geraden in doppelt-logarithmischen Graphen sind in Wahrheit Potenzfunktionen und die Steigung gibt den Exponenten an. Die Abbildung A5 zeigt, wie der Exponent der Asymptoten sich mit wachsender Rechenleistung (die direkt mit wachsender Modellgröße und Trainingsdaten gekoppelt ist) verringert.
Es gibt weitere Studien zum Neural Scaling, aber die (domänenspezifischen) asymptotischen Grenzen werden nicht dramatisch verschoben.
Eine aktuelle Studie von Epoch AI(öffnet im neuen Fenster) belegt die seit Jahren exponentiell steigenden Kosten für die führenden Modelle: ein Faktor 2,4 bis 2,5 pro Jahr, je nachdem, ob eigene HW oder Cloudressourcen genutzt werden. Das reicht angesichts der vorgestellten Zusammenhänge sicherlich nicht für große Fortschritte bei den Fehlerraten.
Aber die Scaling-Studien sind ja alt, vielleicht ist das Problem längst gelöst?
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.