본 논문은 대규모 추론 모델(LRMs)의 과도한 자신감과 부정확한 답변 문제를 해결하기 위해, '마지막 순간 추측'과 '재고의 악순환'이라는 두 가지 병리적 추론 패턴을 제시합니다. 이러한 문제를 해결하기 위해, 간결하고 경계 인식적인 사실적 추론을 촉진하는 새로운 프레임워크인 BARREL을 제안합니다. 실험 결과, BARREL 훈련을 통해 DeepSeek-R1-Distill-Llama-8B 모델의 신뢰성이 39.33%에서 61.48%로 향상되었으며, R1에 의해 생성된 추론 데이터로 미세 조정된 모델과 비슷한 정확도를 달성했습니다. 이는 더욱 신뢰할 수 있고 사실적인 System 2 LRMs 구축을 위한 고무적인 결과입니다.
시사점, 한계점
•
시사점: LRMs의 신뢰성 향상을 위한 새로운 프레임워크(BARREL) 제시 및 실험적 효과 검증. 과도한 자신감으로 인한 오류 발생 원인 분석 및 해결 방안 제시. System 2 LRMs 개발을 위한 새로운 방향 제시.
•
한계점: 현재는 pilot study 단계로, 더욱 광범위한 모델과 데이터셋에 대한 추가 연구 필요. BARREL의 일반화 성능 및 다양한 유형의 추론 문제에 대한 적용 가능성에 대한 추가 검증 필요. R1 데이터셋에 대한 의존성.
