대규모 추론 모델(LRMs)은 다단계 추론 작업에서 인상적인 성능을 보여주지만, 논리적으로 일관되지만 사실적으로 틀린 추론 과정으로 인해 설득력 있지만 잘못된 결론에 도달하는 추론 환각이라는 새로운 유형의 오류가 나타났습니다. 본 연구는 기계적 관점에서 추론 환각을 조사하여, LRM의 후기 레이어를 어휘 공간에 투영하여 얻은 로짓 간의 차이를 측정함으로써 추론 깊이를 정량화하는 추론 점수를 제안합니다. ReTruthQA 데이터셋을 사용하여 분석한 결과, 추론 깊이의 초기 단계 변동과 잘못된 이전 단계로의 역추적이라는 두 가지 주요 추론 환각 패턴을 확인했습니다. 이러한 통찰력을 바탕으로 최첨단 성능을 달성하는 추론 환각 감지(RHD) 프레임워크를 개발하고, 단계별 심층 추론 보상을 통합하는 강화 학습 알고리즘인 GRPO-R을 도입하여 추론 환각을 완화했습니다. 이론적 분석을 통해 강력한 일반화 보장을 확립하고, 실험을 통해 추론 품질 향상과 환각률 감소를 보였습니다.
