Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Evaluación de la experiencia del usuario en sistemas de recomendación conversacional: una revisión sistemática de enfoques clásicos e impulsados por LLM

Created by
  • Haebom

Autor

Raj Mahmud, Yufeng Wu, Abdullah Bin Sawad, Shlomo Berkovsky, Mukesh Prasad, A. Baki Kocaballi

Describir

Este artículo revisa sistemáticamente 23 estudios empíricos publicados entre 2017 y 2025 según las directrices PRISMA para analizar las limitaciones de la investigación existente sobre la evaluación de la experiencia del usuario (UX) de los sistemas de recomendación conversacional (CRS) y sugerir futuras direcciones de investigación. Específicamente, señalamos la escasez de investigación sobre la evaluación de la UX de los CRS adaptativos y los modelos de lenguaje a gran escala (LLM). Analizamos las definiciones de conceptos de UX, los métodos de medición, los dominios, la adaptabilidad y la influencia de los LLM. Descubrimos Limitations, incluido el predominio de la investigación de seguimiento, la escasa evaluación de los componentes emocionales de la UX por turnos y la escasa conexión entre los comportamientos adaptativos y los resultados de la UX. También destacamos los problemas con los CRS basados en LLM, como la opacidad epistemológica y la verbosidad de estos sistemas. Proponemos una síntesis estructurada de métricas de UX para desarrollar prácticas de evaluación de CRS más transparentes, atractivas y centradas en el usuario, un análisis comparativo de sistemas adaptativos y no adaptativos y una agenda orientada al futuro para la evaluación de UX que considere los LLM.

Takeaways, Limitations

Takeaways:
Proporcionamos un análisis sistemático de la evaluación de la experiencia del usuario (UX) de los sistemas de recomendación conversacionales (CRS).
Aclarar Limitations sobre la evaluación de UX de CRS adaptativo y CRS basado en LLM.
Presentamos métricas de UX estructuradas y una agenda prospectiva para desarrollar prácticas de evaluación de CRS más transparentes y centradas en el usuario.
Destaca los problemas específicos de UX del CRS basado en LLM (opacidad epistemológica, extensión).
Limitations:
Señala las limitaciones de los métodos de evaluación de UX que se basan en la investigación de seguimiento.
Hay una falta de evaluación de los componentes emocionales de la experiencia de usuario paso a paso.
No existe un análisis suficiente del vínculo entre el comportamiento adaptativo y los resultados de UX.
Falta de consideración de la opacidad epistemológica y la extensión en las evaluaciones de UX de los CRS basados en LLM.
👍