본 논문은 대규모 언어 모델(LLM)과의 장기적인 대화에서 사용자의 목표 달성을 효과적으로 평가하고 관리하는 인터페이스인 OnGoal을 제시합니다. OnGoal은 LLM 기반 평가를 통한 실시간 목표 일치도 피드백, 평가 결과에 대한 예시를 포함한 설명, 시간 경과에 따른 목표 진행 상황 개요 등을 제공하여 복잡한 대화를 효과적으로 탐색할 수 있도록 돕습니다. 20명의 참가자를 대상으로 한 글쓰기 과제 연구를 통해 OnGoal을 목표 추적 기능이 없는 기본 채팅 인터페이스와 비교 평가한 결과, OnGoal을 사용한 참가자는 목표 달성에 소요되는 시간과 노력을 줄이고 오류 해결을 위한 새로운 프롬프트 전략을 탐색하는 것으로 나타났습니다. 이는 목표 추적 및 시각화가 LLM 대화 참여도와 회복력을 향상시킬 수 있음을 시사합니다. 연구 결과는 LLM 성능 향상을 위한 피드백을 가능하게 하고, 목표 전달, 인지 부하 감소, 상호 작용 향상 등을 개선하는 미래 LLM 채팅 인터페이스 디자인에 대한 시사점을 제공합니다.
