SHARP는 대규모 추론 모델(LRM)의 강화 학습을 위한 고품질, 다양하고 검증 가능한 STEM 문제 집합의 부족 문제를 해결하기 위해 제안된 통합적 접근 방식입니다. 기존의 Chain-of-Thought 프롬프팅과 같은 합성 방법은 과도하게 단순화되거나 검증이 어려운 데이터를 생성하는 한계를 가지는데, SHARP는 대학원 및 올림피아드 수준의 난이도, 엄격한 논리적 일관성, 모호하지 않고 검증 가능한 답변을 목표로 하는 자기 정렬 원칙들을 적용합니다. 구조화된 3단계 프레임워크(정렬, 인스턴스화, 추론)를 통해 주제 다양성과 문제 생성에 대한 세밀한 제어를 보장하며, 최첨단 LRM을 활용하여 어려운 STEM 문제를 추론하고 검증하며, 검증 가능한 보상 신호를 통해 모델의 추론을 개선하는 강화 학습 루프를 사용합니다. GPQA와 같은 벤치마크에서 SHARP를 이용한 학습은 기존 방법보다 뛰어난 성능을 보이며, 복잡한 추론 정확도를 향상시키고 전문가 수준의 능력에 더욱 근접하게 합니다. SHARP 전략, 프레임워크 설계, 엔드투엔드 구현, 그리고 LRM 추론 능력 향상에 대한 효과성 평가가 주요 기여입니다.
