Internalizing Outcome Supervision into Process Supervision: A New Paradigm for Reinforcement Learning for Reasoning

작성자

Haebom

카테고리

Empty

저자

Fei Ding, Yongkang Zhang, Runhao Liu, Yuhao Liao, Zijian Zeng, Sibo wang, Huiming Yang

💡 개요

이 논문은 강화학습 기반 추론에서 최종 결과에 대한 희소한 지도 신호를 중간 추론 단계에 적용하기 어려운 문제를 해결하고자 합니다. 기존 방식은 결과 보상만을 사용하거나 외부에서 수동으로 구축된 과정 감독에 의존하는 한계가 있었습니다. 이에 본 연구는 최종 결과 감독을 내부 과정 감독으로 전환하는 새로운 관점을 제시하며, 실패한 추론 경로를 식별, 수정, 재사용하여 학습 신호를 자동으로 추출하는 방법을 제안합니다.

🔑 시사점 및 한계

•

최종 결과 감독만으로도 효과적인 중간 단계 학습 신호를 자동 생성할 수 있는 새로운 강화학습 패러다임 제시.

•

외부 과정 감독에 대한 의존도를 낮추고, 확장 가능성을 높여 강화학습 기반 추론의 미세한 신용 할당 문제를 개선.

•

제안된 방법론의 일반화 성능 및 다양한 복잡한 추론 문제에 대한 적용 가능성 추가 검증 필요.

PDF 보기

Made with Slashpage