Künstliche Intelligenz: Experten-Personas verschlechtern KI-Faktenwissen

Summary

Künstliche Intelligenz: Experten-Personas verschlechtern KI-Faktenwissen Experten-Personas sind in Anfragen an KI -Modelle nur bei bestimmten Aufgaben hilfreich und führen sonst zu schlechteren Ergebnissen. Die Zuweisung einer Persona kann den KI-Zugriff auf faktenbasiertes Wissen verschlechtern. Bild: Pexels / cottonbro studio Die Forscher Zizhao Hu, Mohammad Rostami und Jesse Thomason von der University of Southern California haben die Wirksamkeit von Experten-Personas bei Anfragen an KI-Modelle untersucht. In ihrer Forschungsarbeit(öffnet im neuen Fenster) kommen sie zu dem Schluss, dass der Aufgabentyp entscheidend dafür ist, ob die Experten-Persona ein besseres Ergebnis liefert. Personas geben dem KI-Modell eine Rolle vor, indem dem Prompt Aussagen wie "Du bist ein Security-Experte" hinzugefügt werden. Diese Anweisungen können das Ergebnis einer KI-Ausgabe verbessern, wenn die richtige Erfüllung der Aufgabe stark von der Einhaltung vorgegebener Regeln, etwa der Einhaltung von Formaten, Schreibstilen oder Strukturierungen, abhängig ist. Werden Experten-Personas bei wissensbasierten Aufgaben eingesetzt, deren Lösung auf Fakten aus dem Pre-Training basiert, verschlechtern sie die Leistung des KI-Modells allerdings systematisch. Dieser Effekt tritt umso stärker auf, je mehr System-Prompts einem KI-Modell vorgegeben wurden. Negativen Auswirkungen auf das Faktenwissen vermeiden Die Forscher nehmen an, dass KI-Modelle Ressourcen, die normalerweise für den Abruf von Fakten verwendet werden, für das Befolgen der Persona-Anweisungen aufwenden, was das Ergebnis bei Wissensaufgaben verschlechtert. Diese Begründung würde auch erklären, warum längere Persona-Beschreibungen zu einer stärkeren Verschlechterung des Ergebnisses führen. Um dennoch die Vorteile von Personas nutzen und gleichzeitig die negativen Auswirkungen auf das Faktenwissen vermeiden zu können, entwickelten die Forscher ein Konzept namens Prism (Persona Routing via Intent-based Self-Modeling). Hierbei generier...