Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

OnGoal : Suivi et visualisation des objectifs conversationnels dans un dialogue multi-tours avec de grands modèles linguistiques

Created by
  • Haebom

Auteur

Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

Contour

Cet article présente OnGoal, une interface qui évalue et gère efficacement la réalisation des objectifs des utilisateurs lors de conversations à long terme avec des modèles linguistiques à grande échelle (MLH). OnGoal facilite la navigation dans des conversations complexes en fournissant un retour d'information en temps réel sur la congruence des objectifs via des évaluations basées sur les MHL, des explications avec des exemples de résultats d'évaluation et un aperçu de la progression des objectifs au fil du temps. Dans une étude de tâches d'écriture portant sur 20 participants, nous avons comparé OnGoal à une interface de chat basique sans suivi des objectifs. Nous avons constaté que les participants utilisant OnGoal réduisaient le temps et les efforts nécessaires pour atteindre leurs objectifs et exploraient de nouvelles stratégies d'incitation à la résolution des erreurs. Cela suggère que le suivi et la visualisation des objectifs peuvent améliorer l'engagement et la résilience dans les conversations MHL. Nos résultats fournissent des orientations pour la conception future d'interfaces de chat MHL qui permettent le retour d'information pour améliorer les performances MHL et améliorer la communication des objectifs, la réduction de la charge cognitive et l'interactivité.

Takeaways, Limitations

Takeaways:
Dans les conversations basées sur le LLM, nous démontrons que le suivi et la visualisation des objectifs sont efficaces pour réduire le temps et les efforts des utilisateurs pour atteindre leurs objectifs.
Cela suggère que cela peut contribuer à améliorer l’engagement et la résilience des utilisateurs.
Suggestion de __T148875_____ pour améliorer la conception de l'interface de chat LLM (communication des objectifs, réduction de la charge cognitive, amélioration de l'interactivité et fourniture de commentaires pour améliorer les performances du LLM).
Nous montrons que l’exploration de nouvelles stratégies d’invite peut aider à résoudre les erreurs.
Limitations:
Le nombre de participants à l’étude était relativement faible, soit 20.
Les résultats de cette étude se sont limités à une tâche spécifique, l'écriture. Leur généralisation à d'autres types de tâches pourrait être limitée.
Des recherches supplémentaires sont nécessaires sur l’efficacité à long terme et l’expérience utilisateur de l’interface OnGoal.
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à travers différents LLM et différents types de conversations.
👍