강화 학습(RL)은 대규모 언어 모델(LLM)의 미세 조정을 위한 효과적인 접근 방식이 되었지만, 자원 소모가 크다는 단점이 있다. 본 논문에서는 LLM RL 미세 조정의 데이터 효율성을 개선하기 위해 두 가지 기술을 제안한다. 첫째, 적절한 난이도의 질문을 우선시하는 난이도 타겟 온라인 데이터 선택을 제안한다. 이를 위해, 소규모 질문 세트에 대한 롤아웃만으로 난이도를 효율적으로 추정하는 어텐션 기반 프레임워크를 개발했다. 둘째, 롤아웃 재사용을 위한 롤아웃 리플레이 메커니즘을 도입하여 롤아웃 비용을 절감했다. 6개의 LLM-데이터셋 조합에 대한 실험 결과, 제안하는 방법은 기존 GRPO 알고리즘과 동일한 수준의 성능을 유지하면서 RL 미세 조정 시간을 23%에서 62%까지 단축했다.
