Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SHARP: Synthesizing High-quality Aligned Reasoning Problems for Large Reasoning Models Reinforcement Learning

Created by
  • Haebom

저자

Xiong Jun Wu, Zhenduo Zhang, ZuJie Wen, Zhiqiang Zhang, Wang Ren, Lei Shi, Cai Chen, Deng Zhao, Dingnan Jin, Qing Cui, Jun Zhou

개요

SHARP는 대규모 추론 모델(LRM)의 강화 학습을 위한 고품질, 다양하고 검증 가능한 STEM 문제를 생성하는 통합적 접근 방식입니다. 기존의 방법들(예: Chain-of-Thought 프롬프팅)이 과도하게 단순화되거나 검증이 어려운 데이터를 생성하는 문제를 해결하기 위해, SHARP는 대학원 및 올림피아드 수준의 난이도, 엄격한 논리적 일관성, 명확하고 검증 가능한 답변을 목표로 하는 자기 정렬 원칙과, 주제 다양성과 문제 생성에 대한 세밀한 제어를 보장하는 3단계 프레임워크(정렬, 인스턴스화, 추론)을 도입합니다. 최첨단 LRM을 활용하여 어려운 STEM 문제를 추론하고 검증한 후, 검증 가능한 보상 신호를 통해 모델의 추론을 개선하는 강화 학습 루프를 사용합니다. GPQA와 같은 벤치마크에 대한 실험 결과, SHARP로 강화 학습한 모델이 기존 방법보다 훨씬 우수한 성능을 보이며, 복잡한 추론 정확도를 크게 향상시키고 전문가 수준의 능력에 더 가까워짐을 보여줍니다.

시사점, 한계점

시사점:
고품질, 다양하고 검증 가능한 STEM 문제를 생성하는 SHARP 방법론 제시
기존 Chain-of-Thought 프롬프팅의 한계 극복
LRM의 복잡한 추론 능력 향상 및 전문가 수준 성능에 근접
강화 학습을 통한 LRM 성능 향상에 대한 새로운 접근 방식 제시
한계점:
SHARP의 성능은 사용된 LRM의 성능에 의존적일 수 있음.
현재는 STEM 분야에 국한되어 있으며, 다른 분야로의 확장성에 대한 추가 연구 필요.
Olympiad-level 문제 생성의 어려움과 그에 따른 데이터 편향 가능성.
검증 가능한 보상 신호의 설계 및 구현의 복잡성.
👍