본 논문은 언어 모델 미세 조정을 위한 고품질 훈련 데이터 확보의 어려움을 다룹니다. 특히 제한된 예산 하에서 어떤 난이도의 데이터를 우선적으로 확보해야 하는지 (쉬운, 중간, 어려운, 랜덤) Group Relative Policy Optimization (GRPO) 미세 조정을 통해 다양한 모델 크기와 종류에서 실험적으로 연구합니다. 기본 모델의 다중 샘플 평가를 통해 얻은 난이도 추정치를 사용하여 동일한 비표지 데이터 풀에서 선택된 네 가지 하위 집합 선택 정책을 비교 분석합니다. 실험 결과, 가장 어려운 예시를 사용하여 훈련했을 때 최대 47%까지 성능 향상이 나타났으며, 쉬운 예시는 성능 향상이 가장 적었습니다. 이는 어려운 예시가 GRPO 훈련 중 더 많은 학습 기회를 제공하기 때문인 것으로 분석됩니다. 결론적으로, GRPO를 사용하는 추론 작업에서 예산이 제한된 경우 어려운 예시를 우선적으로 선택하는 것이 상당한 성능 향상을 가져온다는 실용적인 지침을 제공합니다.
