Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains
Created by
Haebom
저자
Anisha Gunjal, Anthony Wang, Elaine Lau, Vaskar Nath, Yunzhong He, Bing Liu, Sean Hendryx
개요
Rubrics as Rewards (RaR)는 의료 및 과학 분야에서 루브릭 기반 피드백을 사용하여 검증 가능한 영역 너머로 RLVR(Reinforcement Learning with Verifiable Rewards)를 확장하는 온-정책 강화 학습 방법입니다. RaR은 루브릭 피드백을 보상으로 집계하는 여러 전략을 평가하며, HealthBench에서 최대 31%, GPQA-Diamond에서 7%의 상대적 개선을 달성하여 Likert 기반 보상에 의존하는 인기 있는 LLM(Large Language Model) as judge baseline보다 우수한 성능을 보입니다. RaR은 다양한 평가 형식에 적응하며, 루브릭 기반 및 객관식 작업 모두에서 강력한 성능을 보입니다.
시사점, 한계점
•
온-정책 강화 학습 방법론 RaR 소개: 루브릭 기반 피드백을 활용하여 검증 가능한 영역 너머로 RLVR을 확장.
•
의료 및 과학 분야에서 HealthBench 및 GPQA-Diamond에 대한 실험 결과: RaR이 LLM as judge baseline 대비 성능 향상을 보임.
•
다양한 평가 형식에 적응하고, 작은 judge 및 judge 규모에 따른 성능 편차 감소.
