본 논문은 대규모 추론 모델(LRM)의 과도한 추론 단계 생성 문제(overthinking)를 해결하기 위한 효율적인 파이프라인, \Method를 제안합니다. 소규모 모델이 생성한 외부 사고 과정(CoTs)을 LRM의 사고 토큰(<thinking>과</thinking>) 사이에 배치하여 불필요한 중간 단계를 건너뛰도록 유도하는 방식입니다. 실험 결과, \Method는 LiveBench/Code 데이터셋에서 QwQ-32B 모델의 성능을 유지하면서 출력 토큰 수를 약 30% 감소시키는 효율성을 보였습니다. 또한, 잘못된 외부 사고를 무분별하게 따르거나 불필요하게 재고하는 등의 비효율적인 모드를 식별하고, 난이도 인식 폴백과 같은 간단한 완화 전략을 통해 성능을 더욱 향상시킬 수 있음을 보였습니다. \Method는 강력한 추론 모델을 실제 응용 프로그램에 더욱 접근 가능하고 확장 가능하게 만드는 실용적이고 일반적이며 효율적인 방법을 제공합니다.
시사점, 한계점
•
시사점:
◦
대규모 추론 모델의 과도한 추론(overthinking) 문제를 효과적으로 해결하는 새로운 방법 제시.
◦
외부 사고 과정(CoTs)을 활용하여 계산 비용을 크게 줄이는 효율적인 파이프라인 (\Method) 개발.
◦
난이도 인식 폴백과 같은 간단한 완화 전략을 통해 성능 향상 가능성 제시.
◦
강력한 추론 모델의 실용성 및 확장성 증대에 기여.
•
한계점:
◦
제안된 방법의 효과는 특정 데이터셋과 모델에 국한될 수 있음.
◦
외부 CoT 생성기의 성능에 의존적일 수 있음.
◦
비효율적인 모드(잘못된 외부 사고를 따르거나 불필요하게 재고하는 경우)에 대한 완화 전략이 완벽하지 않을 수 있음.
