본 논문은 장황한 추론(Long-CoT) 모델이 복잡한 추론 과제에서 강력한 성능을 보이지만 상당한 추론 오버헤드를 초래한다는 문제점을 제기합니다. 장황한 추론의 효과가 문제 유형에 따라 다르다는 것을 실험적으로 밝히고, 입력에 따라 추론 깊이를 조절하는 적응형 추론 전략의 필요성을 강조합니다. 기존 연구가 주로 장황한 추론 경로 내 중복성 감소에 집중한 것과 달리, 본 논문은 장황한 추론 패러다임을 넘어서는 효율적인 전략 탐색을 위해 두 단계의 적응형 추론 프레임워크를 제안합니다. 첫째, 장황한 추론 모델과 단축 추론 모델을 결합한 하이브리드 추론 모델을 구축하여 다양한 추론 방식을 가능하게 하고, 둘째, 이중 수준 선호도 학습을 통해 적절한 추론 방식(그룹 수준)을 선택하고 각 방식 내에서 간결하고 정확한 추론을 선호하도록(개별 수준) 모델을 유도합니다. 실험 결과, 제안된 방법(Ada-R1)이 기존 방법에 비해 추론 비용을 크게 줄이면서 성능을 유지함을 보여줍니다. 특히, 다섯 개의 수학 데이터셋에서 추론 길이가 평균 50% 이상 감소하여 대규모 언어 모델에서 추론 효율을 최적화하는 적응형 전략의 잠재력을 강조합니다.
