본 논문은 대규모 추론 모델(LRM)의 긴 사고 연쇄(CoT) 추론에서 과소 및 과다 추론 문제를 해결하기 위해, 트리 탐색 관점에서 구조화된 제어 신호를 주입하는 새로운 테스트 시간 접근 방식인 추론 제어 필드(RCF)를 제시합니다. RCF는 복잡한 작업을 해결할 때 주어진 제어 조건에 따라 모델이 추론 노력을 조정할 수 있도록 합니다. 또한, 상세한 추론 과정과 해당 제어 필드가 주석으로 달린 어려운 문제로 구성된 Control-R-4K 데이터셋을 제시합니다. 추론 제어를 더욱 향상시키기 위해, 특히 Control-R-32B 모델을 훈련하여 테스트 시간 동안 추론 노력을 효과적으로 조정하도록 하는 조건부 증류 미세 조정(CDF) 방법을 제안합니다. AIME2024 및 MATH500과 같은 벤치마크에 대한 실험 결과는 제안된 접근 방식이 32B 규모에서 최첨단 성능을 달성하는 동시에 제어 가능한 긴 CoT 추론 프로세스(L-CoT)를 가능하게 함을 보여줍니다. 전반적으로, 본 연구는 제어 가능한 테스트 시간 스케일링 추론을 위한 효과적인 패러다임을 제시합니다.
시사점, 한계점
•
시사점:
◦
긴 사고 연쇄(CoT) 추론에서 과소 및 과다 추론 문제를 효과적으로 해결하는 새로운 방법 제시
◦
테스트 시간에 추론 노력을 제어할 수 있는 추론 제어 필드(RCF) 및 조건부 증류 미세 조정(CDF) 기법 제안
◦
Control-R-4K 데이터셋을 통해 더욱 정교한 추론 제어 연구 가능
◦
32B 규모에서 최첨단 성능 달성 및 제어 가능한 L-CoT 구현
◦
제어 가능한 테스트 시간 스케일링 추론을 위한 새로운 패러다임 제시
•
한계점:
◦
제안된 방법의 일반성 및 다양한 문제 유형에 대한 적용 가능성에 대한 추가 연구 필요
◦
Control-R-4K 데이터셋의 규모 및 다양성 제한
◦
특정 모델(Control-R-32B)에 대한 의존성 및 다른 모델에 대한 적용 가능성 검토 필요
