Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

Created by
  • Haebom

저자

Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui

개요

본 논문은 복잡한 문제에 뛰어난 성능을 보이는 추론 모델이 간단한 문제에 과도하게 사고하는 경향을 보인다는 문제점을 해결하기 위해, 사용자 친화적인 적응형 제어 가능한 추론 프레임워크인 SelfBudgeter를 제안한다. SelfBudgeter는 추론 전에 예산 추정 메커니즘을 통합하며, 이중 훈련 방식을 사용한다. 먼저, 모델은 표준화된 형식으로 토큰 예산을 예측하는 방법을 학습하고, 강화 학습 단계를 통해 문제 난이도에 따라 자율적으로 예산을 계획하고 이를 엄격히 준수하도록 훈련된다. SelfBudgeter는 초기 단계에서 예산 추정치를 출력하므로 사용자는 대기 시간을 예측할 수 있으며, 수동으로 미리 채워진 예산 필드를 통해 추론 길이를 제어할 수 있다. 실험 결과, SelfBudgeter는 문제 복잡성에 따라 예산을 동적으로 할당하여 GSM8K, MATH500, AIME2025 데이터셋에서 1.5B 모델의 평균 응답 길이 압축률 61%, 7B 모델의 48%를 달성하면서 정확도는 거의 유지했다.

시사점, 한계점

시사점:
사용자 경험 개선: 대기 시간 예측으로 생성 과정 중단 또는 지속 여부에 대한 유연한 의사 결정 가능.
자원 효율성 향상: 문제 난이도에 따른 동적 예산 할당을 통해 응답 길이 압축.
제어 가능성: 사전 채워진 예산 필드를 통한 추론 길이 수동 제어.
모델 성능 유지: 응답 길이 압축에도 불구하고 높은 정확도 유지.
한계점:
구체적인 모델 아키텍처, 데이터셋, 훈련 방식 등 더 자세한 정보는 논문 원문을 참고해야 함.
다양한 문제 유형 및 모델 크기에 대한 일반화 성능에 대한 추가 연구 필요.
사용자 제어 기능의 실제 사용성 및 효과에 대한 추가적인 평가 필요.
👍