본 논문은 강화 학습(RL)을 이용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 과정에서 발생하는 높은 계산 비용 문제를 해결하기 위한 새로운 방법을 제시합니다. 기존 RL fine-tuning 방법은 최적의 성능을 달성하기 위해 많은 반복적인 프롬프트 평가와 정책 업데이트가 필요하여 계산 비용이 높다는 단점이 있습니다. 본 논문에서는 비용이 많이 드는 LLM 상호작용 없이 프롬프트의 난이도를 온라인으로 추정하는 베이지안 위험 예측 프레임워크인 Model Predictive Prompt Selection (MoPPS)을 제안합니다. MoPPS는 각 프롬프트의 성공률을 잠재 변수로 모델링하고, 스트리밍 베이지안 추론을 수행하며, 구성된 다중 팔 밴딧 머신에서 사후 샘플링을 사용하여 샘플 효율적이고 적응적인 프롬프트 선택을 가능하게 합니다. 수학, 계획, 시각 기반 기하학 과제에 대한 광범위한 실험을 통해 MoPPS가 프롬프트의 난이도를 신뢰할 수 있게 예측하고 LLM 롤아웃을 크게 줄여 학습을 가속화함을 보여줍니다.
