본 논문은 대규모 언어 모델(LLM)의 복잡한 상호작용 작업(협상, 설득 등) 수행 능력 향상을 위한 새로운 접근법을 제시합니다. 기존 강화 학습(RL) 기반 미세 조정 방식의 확장성 문제를 해결하기 위해, 목표 조건부 가치 함수를 사용하여 LLM 에이전트의 추론을 안내하는 방법을 제안합니다. 이 가치 함수는 행동에 따른 작업의 전개 과정을 예측하여 LLM 에이전트가 다양한 결과를 평가하고 효과적으로 계획할 수 있도록 합니다. 또한, 전체 행동이 아닌 추론 단계를 기반으로 가치 함수를 훈련하여 경량화 및 효율성을 확보합니다. 도구 사용, 사회적 추론, 대화 등 상호작용이 필요한 작업에서 RL 미세 조정 및 프롬프트 방식보다 우수한 성능을 보이며, 확장성 또한 유지함을 실험을 통해 검증합니다.
