Der Mythos vom Millionen-Token-Kontext: Warum KI bei längeren Eingaben schwächelt
KI-Hersteller bewerben Kontextlängen von Millionen von Zeichen, doch trotzdem versagen die Modelle bei großen Dokumenten. Wir erklären die Hintergründe.
Bei neuen Sprachmodellen ist häufig die Rede von Millionen großen Kontext-Fenstern(öffnet im neuen Fenster), die das Verarbeiten auch von großen Dokumenten ermöglichen. Dabei straucheln selbst die Spitzenreiter wie ChatGPT oder Claude, längere Texte richtig zu verarbeiten.
Angefangen von Speicherproblemen bis hin zur Numerik tritt dabei eine Vielzahl von Problemen auf, die dafür sorgen, dass etwa längere Verträge kaum zuverlässig verarbeitet werden können. Wir erklären, wo diese Probleme auftreten, was der technische Aspekt dahinter ist, warum Verarbeiten nicht gleich Verstehen ist und wie sich das Problem vielleicht zumindest teilweise lösen lässt.