Zum Hauptinhalt Zur Navigation Zur Suche

Golem Plus Artikel
Mein Irrtum:
Warum die Grenzen von LLMs weiter entfernt sind, als ich dachte

Ich hielt LLMs für fast ausgereizt. Das war wohl falsch. Warum sie noch lange besser werden können – ohne dass uns das automatisch AGI bringt.
/ Tim Elsner
60 Kommentare Auf Google folgen (öffnet im neuen Fenster)
Letztlich basieren die Fähigkeiten von LLMs wie bei einem Papagei auf dem Finden und Nachahmen von Mustern - was nicht als Beleidigung gemeint ist! (Bild: makabera/Pixabay)
Letztlich basieren die Fähigkeiten von LLMs wie bei einem Papagei auf dem Finden und Nachahmen von Mustern - was nicht als Beleidigung gemeint ist! Bild: makabera/Pixabay

Das Silicon Valley ist in den vergangenen paar Jahren von einer Idee besessen: mehr von allem. Mehr Daten sammeln und mehr Rechenleistung zum Verarbeiten und Trainieren auf ihnen bedeutet demnach automatisch mehr Intelligenz bei LLMs und Co. Scaling beziehungsweise Skalierung ist das Zauber(un)wort, das die Agenda bestimmt.

Ich war lange der Ansicht, dass LLMs ihre Grenzen durch Scaling fast erreicht und sie ihre letzten größeren Sprünge mit dem zusätzlichen Verarbeiten von Bildern gemacht hätten. Da die Modelle trotzdem noch fast im Monatstakt spürbar besser werden, muss ich mir eingestehen: Vermutlich geht das große Skalieren noch eine ganze Weile so weiter.

Golem Plus Artikel