Umfrage zu LLMs: "Skalierung löst KI-Probleme nicht"
Laut einer Umfrage hat sich eine Mehrheit befragter KI-Forscher verhalten zu der Frage geäußert, dass bald eine allgemeine künstliche Intelligenz (AGI) oder auch nur eine spezielle künstliche Intelligenz geschaffen wird, die die menschliche Intelligenz übertrifft. Der Ansatz, durch Skalierung die Probleme lösen zu wollen, stößt laut der Mehrheit der Forscher konzeptionell an seine Grenzen.
Die Studie stammt von der Association for Advancement of Artificial Intelligence(öffnet im neuen Fenster) , demnach sprechen 76 Prozent von 475 befragten KI-Forschern der aktuellen Strategie der Tech-Industrie ab, durch reine Skalierung die bestehenden Probleme von KI-Modellen in den Griff zu bekommen. Der Skalierungsansatz führe in eine Sackgasse, speziell was das Erreichen des erklärten Endziels angehe, nämlich die Schaffung einer allgemeinen künstlichen Intelligenz (AGI), hieß es.
Stuart Russel, Informatiker an der UC Berkeley, der an dem Report (PDF)(öffnet im neuen Fenster) mitgewirkt hat, erklärte, dass die enormen Investitionen für die Skalierung seiner Ansicht nach schon immer deplatziert gewirkt hätten, wenn man gleichzeitig nicht verstehe, was da vor sich gehe. Es sei wohl klar geworden, dass die Entwicklung von LLMs vor einem Jahr ein Plateau erreicht habe.
Für den KI-Wettlauf werden enorme Summen aufgerufen: Laut einem Bericht von Techcrunch(öffnet im neuen Fenster) beliefen sich die Investitionen für generative KI-Modelle alleine 2024 auf über 56 Milliarden US-Dollar nur für reines Venture Capital. Das Gros dieser Summe wird demnach für den Bau oder den Betrieb von riesigen Rechenzentren gebraucht, die die generativen Modelle benötigen. Microsoft allein hat sich für 2025 auf die Summe von 80 Milliarden US-Dollar für KI-Infrastruktur festgelegt(öffnet im neuen Fenster) .
Die Annahme, dass KI durch Skalierung unendlich verbessert werden könnte, stand schon immer auf wackeligen Beinen. Wie zum Beweis kommt die jüngste existenzielle Krise des Tech-Sektors in den Sinn, verursacht durch das chinesische Start-up Deepseek, dessen KI-Modell leistungsmäßig mit den westlichen Multimilliarden-Dollar Chatbots mithalten kann, angeblich zu einem Bruchteil der Trainings- und Energiekosten.
Im Dezember erklärte Google-CEO Sundar Pichai allerdings(öffnet im neuen Fenster) , dass die Zeit leichter KI-Zugewinne vorüber sei, er aber keinen Grund sehe, warum die Industrie nicht weiter skalieren könne.
Aber auch günstigere und effizientere Ansätze werden verfolgt: OpenAI(öffnet im neuen Fenster) nutzt in seinen neusten Modellen ein Verfahren mit dem Namen Test-time Compute, bei dem die KI mehr Zeit mit Nachdenken verbringt, bevor sie die vielversprechendste Lösung auswählt.
Brute Force offenbar immer noch der bevorzugte Weg
Das habe einen Performance-Schub erzielt, der sonst nur durch enorme Skalierung hätte erzielt werden können(öffnet im neuen Fenster) , erklärte Noam Brown, Forscher bei OpenAI. Dieser Ansatz ist aber laut Arvind Narayanan, Informatiker an der Princeton University, kein Allheilmittel.
Deepseek(öffnet im neuen Fenster) probiert einen Ansatz namens Mixture of Experts auf, bei dem die Effekte mehrerer neuronaler Netzwerke kombiniert werden. Jedes Netzwerk ist dabei spezialisiert in einem anderen Aufgabenfeld – seiner Expertise – und gemeinsam suchen die Experten schließlich die Lösung, statt nur einem generalisierten Modell das Feld zu überlassen.
Nichtsdestotrotz: Wenn Microsofts Milliardenzusage ein Zeichen sein sollte, dann das, dass der Brute-Force-Ansatz zur Zeit immer noch der bevorzugte Weg für die großen Player der Tech-Industrie ist. Kleineren Start-ups bleibt nichts anderes übrig, als mit weniger mehr zu erreichen.