본 논문은 대규모 추론 모델(LRM)의 과도한 추론(overthinking) 문제를 해결하기 위해 자기 제어식 추론 과정 조절 프레임워크인 Self-Braking Tuning (SBT)을 제안한다. SBT는 외부 개입 없이 모델 스스로 추론 과정을 조절하도록 학습시키는 것을 목표로 한다. 표준 답변을 기반으로 과도한 추론을 식별하는 지표를 구성하고, 불필요한 추론 단계를 정확히 파악하여 자기 조절 학습 신호를 생성하는 방법을 제시한다. 적응적 추론 길이를 가진 데이터 생성 전략과 추론 종료 시점을 스스로 판단하는 브레이킹 프롬프트 메커니즘을 도입하여 모델의 효율성을 향상시킨다. 수학 관련 벤치마크(AIME, AMC, MATH500, GSM8K) 실험 결과, 제안된 방법은 토큰 소비량을 최대 60%까지 줄이면서 동시에 기존 모델과 유사한 정확도를 유지하는 것을 보여준다.
시사점, 한계점
•
시사점:
◦
외부 개입 없이 모델 스스로 과도한 추론을 제어하는 새로운 방법 제시
◦
토큰 소비량 감소를 통한 연산 비용 절감 및 효율성 증대
◦
정확도 유지하면서 추론 과정의 효율성을 높임
◦
적응적 추론 길이 데이터 생성 전략 및 브레이킹 프롬프트 메커니즘의 효과 입증
•
한계점:
◦
제안된 과도한 추론 식별 지표 및 브레이킹 프롬프트 메커니즘의 일반성 및 다른 유형의 문제에 대한 적용 가능성 검증 필요