본 논문은 단독(monologue) 방식 추론 모델의 한계를 극복하고 추론 과정의 다양성과 일관성을 향상시키기 위해 대화(dialogue) 기반 추론 패러다임인 DialogueReason을 제안합니다. 최근 강화학습 기반 대규모 추론 모델은 수학 및 과학 벤치마크에서 높은 성능을 보였지만, 단독 추론 방식에 의존하여 추론의 다양성과 일관성이 제한되고, 고정된 전략을 반복하거나 불필요한 주의력 전환을 보이는 경향이 있습니다. 논문에서는 먼저 다중 문제를 하나의 프롬프트로 연결하여 추론의 다양성과 일관성을 평가하는 Compound-QA 작업을 제시하고, 이를 통해 단독 추론의 약점을 분석합니다. 이 분석을 바탕으로, 에이전트, 환경, 상호작용으로 구성된 대화 기반 추론 방식인 DialogueReason을 제안하고, 규칙 기반 보상을 사용하는 PPO를 통해 오픈소스 LLM(Qwen-QWQ 및 Qwen-Base)을 훈련합니다. MATH, AIME, GPQA 데이터셋에서 DialogueReason 모델이 복잡한 Compound 질문에서 단독 추론 모델보다 우수한 성능을 보임을 실험적으로 입증하고, 대화 기반 추론이 해석력 향상, 직관적인 인간 상호작용, 다중 에이전트 시스템 설계 발전에 기여할 수 있음을 논의합니다.
