Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Let LLMs Break Free from Overthinking via Self-Braking Tuning

Created by
  • Haebom

저자

Haoran Zhao, Yuchen Yan, Yongliang Shen, Haolei Xu, Wenqi Zhang, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang

개요

본 논문은 대규모 추론 모델(LRM)의 과도한 추론(overthinking) 문제를 해결하기 위해 자기 제어식 추론 과정 조절 프레임워크인 Self-Braking Tuning (SBT)을 제안한다. SBT는 외부 개입 없이 모델 스스로 추론 과정을 조절하도록 학습시키는 것을 목표로 한다. 표준 답변을 기반으로 과도한 추론을 식별하는 지표를 구성하고, 불필요한 추론 단계를 정확히 파악하여 자기 조절 학습 신호를 생성하는 방법을 제시한다. 적응적 추론 길이를 가진 데이터 생성 전략과 추론 종료 시점을 스스로 판단하는 브레이킹 프롬프트 메커니즘을 도입하여 모델의 효율성을 향상시킨다. 수학 관련 벤치마크(AIME, AMC, MATH500, GSM8K) 실험 결과, 제안된 방법은 토큰 소비량을 최대 60%까지 줄이면서 동시에 기존 모델과 유사한 정확도를 유지하는 것을 보여준다.

시사점, 한계점

시사점:
외부 개입 없이 모델 스스로 과도한 추론을 제어하는 새로운 방법 제시
토큰 소비량 감소를 통한 연산 비용 절감 및 효율성 증대
정확도 유지하면서 추론 과정의 효율성을 높임
적응적 추론 길이 데이터 생성 전략 및 브레이킹 프롬프트 메커니즘의 효과 입증
한계점:
제안된 과도한 추론 식별 지표 및 브레이킹 프롬프트 메커니즘의 일반성 및 다른 유형의 문제에 대한 적용 가능성 검증 필요
다양한 종류의 LRM 및 추론 문제에 대한 추가적인 실험 및 분석 필요
SBT의 성능이 특정 벤치마크에 국한될 가능성 존재
자기 조절 학습 과정의 안정성 및 잠재적인 오류 가능성에 대한 추가적인 연구 필요
👍