Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Process Reward Models That Think

Created by
  • Haebom

저자

Muhammad Khalifa, Rishabh Agarwal, Lajanugen Logeswaran, Jaekyeom Kim, Hao Peng, Moontae Lee, Honglak Lee, Lu Wang

개요

단계별 검증기(PRMs)는 테스트 시간 확장의 핵심 요소이지만, 단계별 감독이 필요하여 훈련 비용이 많이 듭니다. 본 논문에서는 단계별 보상 모델을 구두로 표현하여 해결책의 모든 단계를 검증하는 검증 체인 오브 써트(CoT)를 생성하는 데이터 효율적인 PRM인 ThinkPRM을 제안합니다. ThinkPRM은 기존의 PRM보다 훨씬 적은 프로세스 레이블로 미세 조정되며, 긴 CoT 모델의 고유한 추론 능력을 활용하여 여러 벤치마크에서 LLM-as-a-Judge 및 차별적 검증기를 능가합니다. 특히 ProcessBench, MATH-500 및 AIME '24에서 기준 모델보다 성능이 우수하며, GPQA-Diamond 및 LiveCodeBench의 하위 집합에 대한 도메인 외 평가에서도 PRM800K로 훈련된 차별적 검증기를 능가합니다. 동일한 토큰 예산 하에서 ThinkPRM은 LLM-as-a-Judge보다 검증 계산을 더 효과적으로 확장합니다. 본 연구는 훈련을 위한 최소한의 감독만 필요하면서 테스트 시간 계산을 확장할 수 있는 생성적이고 긴 CoT PRM의 가치를 강조합니다. 코드, 데이터 및 모델은 https://github.com/mukhal/thinkprm 에서 공개됩니다.

시사점, 한계점

•
시사점:
◦
데이터 효율적인 단계별 검증 모델 ThinkPRM 제시: 기존 PRM 대비 훨씬 적은 프로세스 레이블로 우수한 성능 달성.
◦
긴 CoT 모델의 추론 능력 활용: 다양한 벤치마크에서 기존 방법(LLM-as-a-Judge, 차별적 검증기)들을 능가하는 성능을 보임.
◦
테스트 시간 계산 효율 향상: 동일한 토큰 예산 하에서 LLM-as-a-Judge보다 효율적인 검증 계산 확장.
◦
도메인 외 평가에서도 우수한 성능: 기존 방법 대비 높은 성능 개선.
◦
코드, 데이터, 모델 공개: 재현성 및 후속 연구 지원.
•
한계점:
◦
특정 벤치마크 및 데이터셋에 대한 성능 평가에 국한: 일반화 가능성에 대한 추가 연구 필요.
◦
훈련 데이터의 양에 대한 의존성 여전히 존재: 완전히 감독 없는 학습에 대한 추가 연구 필요.
◦
특정 유형의 문제에 대한 성능이 더 우수할 수 있음: 다양한 유형의 문제에 대한 범용성 확보를 위한 추가 연구 필요.
👍
Made with Slashpage