GPT-4, Llama, Claude und Palm: Können Sprachmodelle denken?

KI-Insider

KI-Sprachmodelle sind mehr als Wortkombinationsmaschinen. Sie können schlussfolgern - und auch denken? Auf jeden Fall werden sie unerwartete Fähigkeiten entwickeln, auch ohne dass sie ihnen einprogrammiert wurden.

16. April 2023 um 10:00 Uhr / Von Thilo Hagendorff

Aus Beispielen lernen, intuitive Entscheidungen treffen, mehrere Denkschritte aneinanderreihen - all das werden KI-Sprachmodelle mit einer größeren Skalierung immer besser können. Bild: Pixabay

Große Sprachmodelle wie GPT-4, Llama, Claude und Palm haben sich in den vergangen Jahren immens verbessert. Dabei hat sich die Methode, auf der diese Fortschritte basieren, nämlich die Transformer Netzwerke, nicht grundlegend verändert. Stattdessen wurde im Wesentlichen skaliert: mehr Parameter, mehr Daten, mehr Rechnerleistung. Doch diese rein quantitativen Veränderungen bringen unvorhergesehene, qualitativ neue Phänomene zutage.

Der Umstand, dass aus quantitativen Veränderungen qualitativ neue Phänomene entstehen können, nennt sich Emergenz. Ein paar Beispiele: Aus DNA-Molekülen entspringt Leben, aus Neuronen entwickelt sich Bewusstsein, aus Tönen entsteht Sprache, aus Pixeln entsteht ein Bild. Auf konzeptueller Ebene prominent beschrieben wurde dieses Phänomen 1972 in der Zeitschrift Science von dem Physiker Philip Anderson unter dem bezeichnenden Titel More is Different .