Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation de l'expérience utilisateur dans les systèmes de recommandation conversationnelle : une revue systématique des approches classiques et basées sur le LLM

Created by
  • Haebom

Auteur

Raj Mahmud, Yufeng Wu, Abdullah Bin Sawad, Shlomo Berkovsky, Mukesh Prasad, A. Baki Kocaballi

Contour

Cet article passe en revue systématiquement 23 études empiriques publiées entre 2017 et 2025 selon les recommandations PRISMA afin d'analyser les limites des recherches existantes sur l'évaluation de l'expérience utilisateur (UX) des systèmes de recommandation conversationnelle (SRC) et de suggérer des pistes de recherche futures. Plus précisément, nous soulignons la rareté des recherches sur l'évaluation UX des SRC adaptatifs et des modèles linguistiques à grande échelle (MLH). Nous analysons les définitions des concepts UX, les méthodes de mesure, les domaines, l'adaptabilité et l'influence des LHH. Nous mettons en évidence Limitations, notamment la prédominance des recherches complémentaires, la rareté de l'évaluation des composantes émotionnelles UX au tour par tour et le lien rare entre comportements adaptatifs et résultats UX. Nous soulignons également les problèmes des SRC basés sur les LHH, tels que l'opacité épistémologique et la verbosité de ces systèmes. Nous proposons une synthèse structurée des métriques UX pour développer des pratiques d'évaluation CRS plus transparentes, engageantes et centrées sur l'utilisateur, une analyse comparative des systèmes adaptatifs et non adaptatifs et un programme d'évaluation UX orienté vers l'avenir qui prend en compte les LLM.

Takeaways, Limitations

•
Takeaways:
◦
Nous fournissons une analyse systématique de l'évaluation de l'expérience utilisateur (UX) des systèmes de recommandation conversationnelle (CRS).
◦
Clarifier Limitations sur l'évaluation UX des CRS adaptatifs et des CRS basés sur LLM.
◦
Nous présentons des mesures UX structurées et un programme prospectif pour développer des pratiques d’évaluation CRS plus transparentes et centrées sur l’utilisateur.
◦
Met en évidence les problématiques UX spécifiques des CRS basés sur le LLM (opacité épistémologique, longueur).
•
Limitations:
◦
Souligne les limites des méthodes d’évaluation UX qui s’appuient sur des recherches de suivi.
◦
Il y a un manque d’évaluation des composants UX émotionnels tour par tour.
◦
L’analyse du lien entre le comportement adaptatif et les résultats UX est insuffisante.
◦
Manque de prise en compte de l’opacité épistémologique et de la longueur dans les évaluations UX des CRS basés sur le LLM.
👍
Made with Slashpage