본 연구는 다중 모달 대화 시스템을 이용한 외국어 학습 환경에서 사용자 경험 질을 평가하기 위한 참여도 및 친밀도 척도 두 가지를 개발하고 검증하는 것을 목표로 한다. 교육심리학, 사회심리학, 제2언어 습득 이론을 바탕으로 척도를 설계하였으며, 74명의 일본인 영어 학습자를 대상으로 훈련된 인간 튜터와 대화 에이전트와의 역할극 및 토론 과제를 수행하게 한 후, 참여도 및 친밀도 척도에 응답하게 하였다. 크론바흐 알파 계수 분석과 확인적 요인 분석을 통해 척도의 구조적 타당성과 신뢰성을 검증하였고, 인간 튜터와의 대화와 대화 에이전트와의 대화 간 참여도 및 친밀도 점수를 비교 분석하였다. 그 결과, 본 연구에서 개발한 척도는 다양한 관점에서 인간 대화 상대방과 대화 에이전트 간의 대화 경험 질적 차이를 성공적으로 포착함을 보였다.
