본 논문은 대규모 언어 모델(LLM)이 자체 생성 롤아웃의 피드백을 활용하여 분포 변화에 적응하도록 하는 테스트 시간 정책 최적화(test-time policy optimization)를 연구합니다. 기존 방법론의 계산 중복성을 개선하기 위해, 베이지안 순차 확률 비 검정을 기반으로 한 최적의 롤아웃 할당(Optimal Rollout Allocation for Test-time Policy Optimization, OptPO) 프레임워크를 제안합니다. OptPO는 특정 임계값을 초과하면 샘플링을 동적으로 중단하고, 유지된 롤아웃을 사용하여 정책을 업데이트합니다. 이를 통해 정확도를 유지하면서도 롤아웃 오버헤드를 줄입니다.
