본 논문은 Self-taught reasoners (STaRs)의 성능 향상을 위한 새로운 방법인 HS-STaR을 제안합니다. 기존 STaRs는 모든 문제에 동일한 샘플링 비용을 할당하지만, HS-STaR은 문제의 난이도에 따른 유용성 차이를 고려하여 효율적인 학습을 가능하게 합니다. LLM의 추론 능력 경계에 있는 문제들이 가장 높은 학습 효과를 제공한다는 경험적 연구 결과를 바탕으로, HS-STaR은 경량 사전 샘플링과 보상 기반 난이도 추정 전략을 통해 이러한 문제들을 효율적으로 식별합니다. 이후, 남은 샘플링 비용을 해당 문제에 동적으로 재할당하여, 가치 있는 훈련 데이터 생성을 극대화합니다. 다양한 추론 벤치마크와 기본 LLM에 대한 실험 결과, HS-STaR은 추가적인 샘플링 비용 없이 기존 방법들을 상당히 능가하는 성능을 보여줍니다.