Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating User Experience in Conversational Recommender Systems: A Systematic Review Across Classical and LLM-Powered Approaches

Created by
  • Haebom

저자

Raj Mahmud, Yufeng Wu, Abdullah Bin Sawad, Shlomo Berkovsky, Mukesh Prasad, A. Baki Kocaballi

개요

본 논문은 2017년부터 2025년까지 발표된 23개의 실증 연구를 PRISMA 지침에 따라 체계적으로 검토하여 대화형 추천 시스템(CRSs)의 사용자 경험(UX) 평가에 대한 기존 연구의 한계를 분석하고, 향후 연구 방향을 제시합니다. 특히 적응형 CRS와 대규모 언어 모델(LLM) 기반 CRS의 UX 평가에 대한 연구가 부족함을 지적하며, UX 개념 정의, 측정 방법, 도메인, 적응성, LLM의 영향 등을 분석합니다. 후속 조사의 지배, 턴 단위 정서적 UX 구성 요소의 희귀한 평가, 적응적 행동과 UX 결과 간의 희귀한 연결 등의 한계점을 밝히고, LLM 기반 CRS의 인식론적 불투명성과 장황함과 같은 문제점을 지적하며, 더 투명하고 매력적이며 사용자 중심적인 CRS 평가 관행 개발을 위한 구조화된 UX 지표 합성, 적응형 및 비적응형 시스템의 비교 분석, LLM을 고려한 UX 평가를 위한 미래 지향적 의제를 제시합니다.

시사점, 한계점

시사점:
대화형 추천 시스템(CRSs)의 사용자 경험(UX) 평가에 대한 체계적인 분석을 제공합니다.
적응형 CRS와 LLM 기반 CRS의 UX 평가에 대한 한계점을 명확히 밝힙니다.
더 투명하고 사용자 중심적인 CRS 평가 관행 개발을 위한 구조화된 UX 지표와 미래 지향적 의제를 제시합니다.
LLM 기반 CRS의 특수한 UX 이슈(인식론적 불투명성, 장황함)를 강조합니다.
한계점:
후속 조사에 의존하는 UX 평가 방식의 한계를 지적합니다.
턴 단위 정서적 UX 구성 요소에 대한 평가가 부족합니다.
적응적 행동과 UX 결과 간의 연관성 분석이 미흡합니다.
LLM 기반 CRS의 UX 평가에서 인식론적 불투명성과 장황함에 대한 고려가 부족합니다.
👍