본 논문은 대규모 언어 모델(LLM)의 사전적 대화 능력 평가를 위한 통합 프레임워크인 ProactiveEval을 제안합니다. 기존 연구들이 특정 도메인이나 과제 중심의 시나리오에 집중하여 모델의 사전적 대화 능력에 대한 포괄적인 탐구가 제한되었던 점을 개선하고자, 목표 계획 및 대화 유도라는 두 가지 측면으로 사전적 대화를 분해하여 다양한 도메인에 걸쳐 평가 지표를 설정합니다. 또한 다양하고 어려운 평가 데이터를 자동으로 생성할 수 있도록 설계되었습니다. 6개의 서로 다른 도메인에 걸쳐 328개의 평가 환경을 개발하고, 22개의 LLM을 실험하여 DeepSeek-R1과 Claude-3.7-Sonnet이 각각 목표 계획 및 대화 유도 과제에서 뛰어난 성능을 보임을 보여줍니다. 마지막으로, 추론 능력이 사전적 행동에 미치는 영향을 조사하고 향후 모델 개발에 대한 시사점을 논의합니다.
