본 논문은 강화 학습을 통해 다단계 추론을 가능하게 한 추론 언어 모델이 여러 벤치마크에서 최첨단 성능을 달성했지만, 여전히 잘못된 답변을 자신 있게 제시하는 환각 현상에 취약하다는 점을 지적합니다. 따라서 실제 응용 분야에 추론 모델을 안전하게 배포하기 위해서는 모델의 신뢰도를 정량화하는 것이 중요합니다. 이를 위해 논문에서는 추론 모델의 불확실성 정량화를 탐구하며, 추론 모델의 보정 여부, 더 깊은 추론이 모델 보정에 미치는 영향, 그리고 모델이 자신의 추론 과정을 명시적으로 추론하여 보정을 개선할 수 있는지 여부에 대한 세 가지 질문에 답하고자 합니다. 자체 반성적 불확실성 정량화(introspective uncertainty quantification, UQ) 기법을 도입하여 다양한 벤치마크에서 최첨단 추론 모델을 평가한 결과, 추론 모델은 일반적으로 과신하며, 특히 잘못된 응답에 대해서는 자체적으로 표현한 신뢰도 추정치가 85%를 넘는 경우가 많고, 더 깊은 추론을 통해 과신이 더 심해지며, 자기 반성을 통해 보정이 개선될 수 있지만(예: o3-Mini 및 DeepSeek R1), 모든 모델에 대해 일관되게 적용되는 것은 아님을(예: Claude 3.7 Sonnet) 밝혔습니다. 마지막으로, 필수적인 UQ 벤치마크를 설계하고 추론 모델의 보정을 개선하기 위한 중요한 연구 방향을 제시합니다.
