Substance over Style: Evaluating Proactive Conversational Coaching Agents
Created by
Haebom
Category
Empty
저자
Vidya Srinivas, Xuhai Xu, Xin Liu, Kumar Ayush, Isaac Galatzer-Levy, Shwetak Patel, Daniel McDuff, Tim Althoff
개요
본 논문은 기존의 단일 회차 응답 중심의 NLP 연구와 달리, 목표가 처음에는 불분명하며 다중 회차 상호작용, 주관적 평가 기준, 혼합 주도 대화를 통해 진화하는 코칭 상황에 초점을 맞추고 있습니다. 다섯 가지의 서로 다른 대화 스타일을 가진 다중 회차 코칭 에이전트를 설계 및 구현하고, 155개의 대화에 대한 사용자 연구를 통해 사용자 피드백을 수집하여 평가했습니다. 핵심 기능이 사용자에게 매우 중요하며, 핵심 기능이 없을 경우 스타일 요소는 부정적으로 평가됨을 발견했습니다. 또한 사용자 피드백과 건강 전문가 및 언어 모델(LM)의 객관적 평가를 비교하여 평가 방식 간의 상당한 불일치를 밝혔습니다. 이 연구 결과는 대화형 코칭 에이전트의 설계 및 평가에 대한 통찰력을 제공하고 인간 중심의 NLP 애플리케이션 개선에 기여합니다.
시사점, 한계점
•
시사점:
◦
다중 회차 코칭 에이전트의 설계 및 평가에 대한 심층적인 이해를 제공합니다.
◦
사용자 피드백과 전문가 평가 간의 불일치를 보여주어, 인간 중심의 평가 방식의 중요성을 강조합니다.