본 논문은 다단계 추론 과정에서 환각을 감지하고 완화하는 자기 수정 프레임워크를 개발합니다. 최종 정답의 정확성에만 의존하는 대신, 1) 자기 평가된 신뢰도 정렬과 2) 토큰 레벨 엔트로피 급증과 같은 세분화된 불확실성 신호를 활용하여 실시간으로 신뢰할 수 없고 불성실한 추론을 감지합니다. 모델의 자기 성찰을 돕고 신뢰도 인식 보상 피드백을 통해 모델의 생성 행동을 형성하는 강화 학습(RL) 정책을 설계하여 결과의 정확성뿐만 아니라 중간 추론 단계의 일관성과 충실도를 향상시킵니다.
