Was es braucht, damit der Funken zündet

Eine der größten Limitationen von GPT-4, wie die Autoren betonen, besteht darin, dass das Modell seine Ausgaben stets Wort für Wort erzeugt. Die Lösung einer Aufgabe muss daher in gewissem Sinne immer in Vorwärtsrichtung erfolgen, wobei das Ende einer Ausgabe zumindest abstrakt schon am Anfang vorgedacht sein muss. Im Gegensatz dazu können Menschen in einer Art innerem Dialog ihre Antwort gedanklich zu Ende bringen und, wenn sie auf einen Widerspruch stoßen, zurück an den Anfang gehen und ihren Gedankenfluss anpassen.

Dass GPT-4 von einer solchen Möglichkeit profitieren würde, zeigt sich manchmal in Dialogen mit dem Sprachmodell. Bei fehlerhaften Ausgaben reicht es oft, das Modell nach mehr Details zu fragen, woraufhin es den Fehler in seiner Logik erkennt und korrigiert.

Ein Beispiel hierfür sind Rechenaufgaben. Wie seine Vorgänger macht auch GPT-4 selbst bei einfachsten Rechenaufgaben auf Grundschulniveau viele Fehler. Die Microsoft-Forscher zeigen jedoch, dass sich die Ergebnisse deutlich verbessern, wenn man GPT-4 bittet, den Rechenweg detailliert zu beschreiben, bevor das Ergebnis genannt wird.

Eine mögliche Verbesserung für die Zukunft könnte also darin bestehen, das Modell um eine innere Feedback-Schleife zu erweitern, so dass es nicht nur linear eine Antwort erzeugen, sondern seinen eigenen Denkprozess überwachen, beurteilen und lenken kann. Dies würde dazu beitragen, die Leistungsfähigkeit des Sprachmodells weiter zu erhöhen und es noch besser an die menschliche Denkweise anzupassen, wodurch es in der Lage wäre, komplexere Probleme effizienter und präziser zu lösen.

Ethische Fragen

Die Autoren der Studie gehen ausführlich auf die ethischen Fragen ein, die im Kontext von Künstlicher Intelligenz seit längerem diskutiert werden. Darunter fallen unter anderem die Auswirkung der Technologie auf Arbeitsplätze, ihr möglicher Einsatz bei Desinformations-Kampagnen oder ihr Einfluss auf die Bildung von Stereotypen und Vorurteilen. Während diese Fragen inhaltlich unverändert bestehen bleiben, unterstreichen die Fortschritte durch GPT-4 doch ihre Dringlichkeit.

Bewertung

In Summe untermauern die vorgestellten Beispiele deutlich die These, dass GPT-4 über einen "Funken" menschenähnlicher Intelligenz verfügt. Damit sich diese wirklich entfalten kann, müssen jedoch noch einige Limitationen überwunden werden.

Zu diesen zählt zum Beispiel, dass auch GPT-4 ähnlich wie seine Vorgänger nicht zuverlässig abschätzen kann, wie sicher seine eigenen Aussagen sind. Insbesondere bei Tatsachenbehauptungen, die sich auf sehr spezialisiertes Wissen beziehen, kommen daher weiterhin gelegentlich sogenannte Halluzinationen vor.

Eine weitere Einschränkung besteht darin, dass das Modell nicht mehr dazulernt, nachdem der Trainingsprozess abgeschlossen ist. Es kann zwar Informationen verwenden, die ihm von Benutzern als Teil der Prompts mitgegeben werden, doch ist dieser "Arbeitsspeicher" mit maximal einigen Tausend Wörtern recht klein. Insbesondere lässt sich das Modell daher noch nicht auf einfache Art an bestimmte Einsatzgebiete anpassen, wie zum Beispiel an Anwendungsfälle in einem Unternehmen, für die spezielle Fachkenntnisse oder Wissen über Mitarbeiter und Kunden notwendig sind.

Um diese Einschränkungen zu überwinden, gibt es verschiedene Ansätze. Teilweise ist dies bereits durch geschicktes Formulieren von Prompts möglich oder durch ihre Anreicherung mit Meta-Informationen (sogenanntes Prompt-Engineering). Eine weitere Möglichkeit besteht wie bereits erwähnt in der Verwendung von Software-Modulen.

Mittelfristig ist es wahrscheinlich, dass die Architektur von Sprachmodellen erweitert wird. Beispielsweise könnten mehrere Modelle auf unterschiedlichen Abstraktionsebenen arbeiten und sich gegenseitig beeinflussen. Zudem könnte eine Rückkopplungsschleife eingebaut werden, die es dem Modell ermöglicht, über seine eigene Ausgabe "nachzudenken", bevor sie finalisiert wird.

Abschließend räumen die Autoren offen ein, dass niemand wirklich versteht, warum diese Modelle so gut funktionieren. Viele Fähigkeiten sind emergente Eigenschaften, die während des Trainings der Modelle entstehen, aber bisher nicht direkt auf die Architektur der Modelle zurückgeführt werden können. Die Autoren betonen die Notwendigkeit, in naher Zukunft weiter in diesem Bereich zu forschen, um ein tieferes Verständnis der zugrundeliegenden Mechanismen zu erlangen.

Helmut Linde leitete verschiedene Data-Science-Teams in deutschen Konzernen und ist nun in seinem Unternehmen für die Digitalisierung von Forschung und Entwicklung verantwortlich. Als Mathematiker und Physiker ist er fasziniert von naturwissenschaftlichen Themen sowie der Anwendung und der Zukunft der künstlichen Intelligenz.