본 논문은 강화학습(RL)을 통해 추론 능력을 향상시킨 대규모 언어 모델(LLM)이 환각(hallucination) 문제를 심화시킨다는 점을 밝힙니다. RL 미세조정 과정에서 발생하는 높은 분산의 기울기, 엔트로피에 의한 무작위성, 그리고 허위 지역 최적점에 대한 취약성이 환각의 주요 원인으로 분석됩니다. 이를 해결하기 위해, 논문에서는 각 추론 단계에서 사실성 검증을 통합한 새로운 RL 미세조정 알고리즘인 FSPO(Factuality-aware Step-wise Policy Optimization)를 제안합니다. FSPO는 주어진 증거에 대한 자동화된 검증을 활용하여 토큰 수준의 이점 값을 동적으로 조정함으로써 추론 과정 전반에 걸쳐 사실적 정확성을 유도합니다. Qwen2.5 및 Llama 모델을 사용한 수학적 추론 및 환각 벤치마크 실험 결과, FSPO가 환각을 효과적으로 줄이고 추론 정확도를 향상시켜 신뢰성과 성능을 모두 크게 개선하는 것으로 나타났습니다.
