SHARP는 대규모 추론 모델(LRM)의 강화 학습을 위한 고품질, 다양하고 검증 가능한 STEM 문제를 생성하는 통합적 접근 방식입니다. 기존의 방법들(예: Chain-of-Thought 프롬프팅)이 과도하게 단순화되거나 검증이 어려운 데이터를 생성하는 문제를 해결하기 위해, SHARP는 대학원 및 올림피아드 수준의 난이도, 엄격한 논리적 일관성, 명확하고 검증 가능한 답변을 목표로 하는 자기 정렬 원칙과, 주제 다양성과 문제 생성에 대한 세밀한 제어를 보장하는 3단계 프레임워크(정렬, 인스턴스화, 추론)을 도입합니다. 최첨단 LRM을 활용하여 어려운 STEM 문제를 추론하고 검증한 후, 검증 가능한 보상 신호를 통해 모델의 추론을 개선하는 강화 학습 루프를 사용합니다. GPQA와 같은 벤치마크에 대한 실험 결과, SHARP로 강화 학습한 모델이 기존 방법보다 훨씬 우수한 성능을 보이며, 복잡한 추론 정확도를 크게 향상시키고 전문가 수준의 능력에 더 가까워짐을 보여줍니다.
