본 논문은 대규모 언어 모델(LLM)의 추론 확장을 통해 복잡한 추론 문제 해결을 개선하는 새로운 방법을 제시합니다. 기존의 best-of-N 샘플링, 다수결 투표, 최소 베이즈 위험 디코딩(MBRD) 등의 추론 시간 기법에 추가하여, 보상 모델과 위험/유사성 함수를 활용하는 새로운 MBRD 기반 프레임워크를 제안합니다. KL 제어 강화 학습의 최적 정책 개념을 바탕으로 설계된 이 프레임워크는 기존 방법보다 높은 강건성, 향상된 정확도, 그리고 잘 정의된 점근적 동작을 제공합니다. 또한 문제의 난이도에 따라 생성할 샘플 수를 조절하는 샘플 효율적인 MBRD 변형을 가능하게 합니다. MATH-$500$과 HumanEval 데이터셋을 사용한 실험 결과를 통해 제안된 방법의 우수성과 정확도-계산량 트레이드오프를 분석합니다.
