본 논문은 대규모 언어 모델(LLM)의 테스트 시간 응답 길이를 조정하여 추론 능력과 성능을 향상시키면서, 효율성을 높이는 방법을 제시합니다. 기존의 효율적인 테스트 시간 조정 방식의 한계를 극복하기 위해, 문제에 대한 이전 시도에서 얻은 정보를 활용하는 History-Aware Policy Optimization (HAPO)를 제안합니다. HAPO는 각 문제에 대한 기록 상태(예: 이전에 생성된 정답의 최소 길이)를 유지하며, 이 정보를 기반으로 하는 새로운 길이 보상 함수를 사용하여 보다 간결한 정답을 유도합니다. 정확성 보상과 길이 보상을 결합하여, 정확성과 효율성을 동시에 최적화합니다. DeepSeek-R1-Distill-Qwen-1.5B, DeepScaleR-1.5B-Preview, Qwen-2.5-1.5B-Instruct 모델에 HAPO를 적용한 결과, 수학 벤치마크에서 33-59%의 길이 감소와 2-5%의 정확도 감소를 보였습니다.
