본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 테스트 시 컴퓨팅 자원을 확장하는 데 초점을 맞춘 연구입니다. 기존 강화 학습 기반 방법론의 한계점인 고정된 토큰 예산 하에서의 최종 성능 최적화를 극복하고자, Anytime Reasoning 성능을 최적화하는 새로운 프레임워크인 AnytimeReasoner를 제안합니다. 이 방법은 추론 과정을 여러 토큰 예산으로 잘라내고, 각 단축된 추론에 대한 요약을 생성하여 검증 가능한 밀집 보상을 도입함으로써 토큰 효율성과 다양한 토큰 예산 제약 조건 하에서의 유연성을 개선합니다. 특히, 사고 정책과 요약 정책을 분리하여 최적화하고, Budget Relative Policy Optimization (BRPO)이라는 새로운 분산 감소 기법을 도입하여 학습의 견고함과 효율성을 높였습니다. 수학적 추론 과제에 대한 실험 결과는 AnytimeReasoner가 다양한 사전 분포 하에서 모든 사고 예산에 걸쳐 GRPO를 능가하며, 훈련 및 토큰 효율성을 모두 향상시킴을 보여줍니다.
