Künstliche Intelligenz: Experten-Personas verschlechtern KI-Faktenwissen
Die Forscher Zizhao Hu, Mohammad Rostami und Jesse Thomason von der University of Southern California haben die Wirksamkeit von Experten-Personas bei Anfragen an KI-Modelle untersucht. In ihrer Forschungsarbeit(öffnet im neuen Fenster) kommen sie zu dem Schluss, dass der Aufgabentyp entscheidend dafür ist, ob die Experten-Persona ein besseres Ergebnis liefert.
Personas geben dem KI-Modell eine Rolle vor, indem dem Prompt Aussagen wie "Du bist ein Security-Experte" hinzugefügt werden. Diese Anweisungen können das Ergebnis einer KI-Ausgabe verbessern, wenn die richtige Erfüllung der Aufgabe stark von der Einhaltung vorgegebener Regeln, etwa der Einhaltung von Formaten, Schreibstilen oder Strukturierungen, abhängig ist.
Werden Experten-Personas bei wissensbasierten Aufgaben eingesetzt, deren Lösung auf Fakten aus dem Pre-Training basiert, verschlechtern sie die Leistung des KI-Modells allerdings systematisch. Dieser Effekt tritt umso stärker auf, je mehr System-Prompts einem KI-Modell vorgegeben wurden.
Negativen Auswirkungen auf das Faktenwissen vermeiden
Die Forscher nehmen an, dass KI-Modelle Ressourcen, die normalerweise für den Abruf von Fakten verwendet werden, für das Befolgen der Persona-Anweisungen aufwenden, was das Ergebnis bei Wissensaufgaben verschlechtert. Diese Begründung würde auch erklären, warum längere Persona-Beschreibungen zu einer stärkeren Verschlechterung des Ergebnisses führen.
Um dennoch die Vorteile von Personas nutzen und gleichzeitig die negativen Auswirkungen auf das Faktenwissen vermeiden zu können, entwickelten die Forscher ein Konzept namens Prism (Persona Routing via Intent-based Self-Modeling). Hierbei generiert ein Basismodell zunächst eine Vielzahl von Anfragen an Experten-Domänen und erstellt pro Anfrage eine Antwort mit und eine Antwort ohne Experten-Persona.
Auf Basis der als besser bewerteten Antworten trainiert das KI-Modell, bei welchen Arten von Anfragen eine Persona hilfreich ist und bei welchen sie schadet. Wird eine Anfrage gestellt, entscheiden als positiv verifizierte Verhaltensweisen darüber, ob das KI-Modell lediglich seine Basisparameter verwendet oder die Eigenschaften der Persona umsetzt.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.