본 논문은 복잡한 문제 해결 능력을 향상시키기 위해 사고 초안(thinking draft)을 도입하여 다중 경로 Chain-of-Thought 탐색을 가능하게 하는 대규모 추론 모델(LRMs)의 신뢰성 있는 모니터링, 해석 및 효과적인 제어를 위해 중간 추론 과정의 신뢰성을 보장하는 것이 중요함을 강조합니다. 이를 위해, 본 논문에서는 사고 초안의 신뢰성을 엄격하게 평가하기 위한 체계적인 반사실적 개입 프레임워크를 제안합니다. 이 접근 방식은 두 가지 상호 보완적인 차원, 즉 (1) 개별 추론 단계가 반사실적 단계 삽입을 통해 후속 단계와 최종 초안 결론에 인과적으로 영향을 미치는지 여부를 평가하는 초안 내 신뢰성(Intra-Draft Faithfulness)과 (2) 초안의 결론적 논리를 변경하여 최종 답변이 사고 초안과 논리적으로 일치하고 의존적인지 여부를 평가하는 초안-답변 신뢰성(Draft-to-Answer Faithfulness)에 중점을 둡니다. 6개의 최첨단 LRM에 대한 광범위한 실험을 수행한 결과, 현재 LRM은 중간 추론 단계에 대해 선택적인 신뢰성을 보이며, 초안 결론과 충실하게 일치하지 못하는 경우가 빈번하다는 것을 보여줍니다. 이러한 결과는 고급 LRM에서 더욱 신뢰할 수 있고 해석 가능한 추론의 필요성을 강조합니다.
