Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Development and Validation of Engagement and Rapport Scales for Evaluating User Experience in Multimodal Dialogue Systems

Created by
  • Haebom

저자

Fuma Kurata, Mao Saeki, Masaki Eguchi, Shungo Suzuki, Hiroaki Takatsu, Yoichi Matsuyama

개요

본 연구는 다중 모달 대화 시스템을 이용한 외국어 학습 환경에서 사용자 경험 질을 평가하기 위한 참여도 및 친밀도 척도 두 가지를 개발하고 검증하는 것을 목표로 한다. 교육심리학, 사회심리학, 제2언어 습득 이론을 바탕으로 척도를 설계하였으며, 74명의 일본인 영어 학습자를 대상으로 훈련된 인간 튜터와 대화 에이전트와의 역할극 및 토론 과제를 수행하게 한 후, 참여도 및 친밀도 척도에 응답하게 하였다. 크론바흐 알파 계수 분석과 확인적 요인 분석을 통해 척도의 구조적 타당성과 신뢰성을 검증하였고, 인간 튜터와의 대화와 대화 에이전트와의 대화 간 참여도 및 친밀도 점수를 비교 분석하였다. 그 결과, 본 연구에서 개발한 척도는 다양한 관점에서 인간 대화 상대방과 대화 에이전트 간의 대화 경험 질적 차이를 성공적으로 포착함을 보였다.

시사점, 한계점

시사점: 다중 모달 대화 시스템 기반 외국어 학습 환경에서 사용자 경험 질을 평가할 수 있는 새로운 척도를 개발하고 검증하였다. 인간과 AI 대화 상호작용의 질적 차이를 측정하는데 유용한 도구를 제공한다. 다양한 관점에서 사용자 경험을 측정하여, 시스템 개선에 대한 구체적인 방향을 제시할 수 있다.
한계점: 샘플 수 (74명)가 상대적으로 적어 일반화 가능성에 제한이 있을 수 있다. 본 연구는 일본인 영어 학습자를 대상으로 하였으므로, 다른 언어 또는 문화권 학습자에게 일반화하기 위해서는 추가 연구가 필요하다. 다양한 유형의 다중 모달 대화 시스템에 대한 일반화 가능성을 검증하기 위한 추가 연구가 필요하다. 특정한 대화 과제에 국한된 결과이므로, 다른 유형의 과제에 대한 추가 연구가 필요하다.
👍