본 논문은 강화 학습을 통해 다단계 추론을 가능하게 한 추론 언어 모델이 많은 벤치마크에서 최첨단 성능을 달성했지만, 기존 언어 모델과 마찬가지로 잘못된 답변을 자신 있게 제시하는 환각 현상이 발생한다는 점에 주목합니다. 실제 응용 분야에서 추론 모델을 안전하게 배포하려면 모델의 신뢰도를 파악하는 것이 중요합니다. 따라서 본 논문에서는 추론 모델의 불확실성 정량화를 탐구하며, 추론 모델의 보정 여부, 더 깊은 추론이 모델 보정에 미치는 영향, 그리고 추론 과정을 명시적으로 추론하여 보정을 개선할 수 있는지 여부에 대한 세 가지 질문에 답하고자 합니다. 이를 위해, 자기 성찰적 불확실성 정량화(introspective uncertainty quantification, UQ)를 도입하여 다양한 벤치마크에서 최첨단 추론 모델을 평가합니다. 실험 결과, 추론 모델은 일반적으로 과신하며, 특히 잘못된 응답에 대해 자기 언어화된 신뢰도 추정치가 85%를 넘는 경우가 많고, 더 깊은 추론을 통해 과신이 심화되지만, 자기 성찰을 통해 보정이 향상될 수 있는 경우도 있음을 발견하였습니다. 마지막으로, 필수적인 UQ 벤치마크를 설계하고 추론 모델의 보정을 개선하기 위한 중요한 연구 방향을 제시합니다.
