Zhuohao Yu, Jiali Zeng, Weizheng Gu, Yidong Wang, Jindong Wang, Fandong Meng, Jie Zhou, Yue Zhang, Shikun Zhang, Wei Ye
개요
본 논문은 대규모 언어 모델(LLM) 최적화에 필수적인 보상 모델(Reward Model, RM)의 한계점을 지적하고, 이를 극복하기 위한 새로운 접근법을 제시합니다. 기존 RM들은 고정된 선호도 데이터셋으로 학습되어 다양한 실제 요구에 적응하지 못하는 문제점을 가지고 있습니다. 본 논문에서는 자연어로 표현된 보상 원칙을 동적으로 이해하고 준수하는 일반화 가능한 RM을 제안합니다. 이를 위해 다양한 원칙에 대한 일반화 능력을 평가하는 새로운 벤치마크 RABench를 개발하고, 자연어 원칙을 명시적으로 따르도록 설계 및 학습된 새로운 RM인 RewardAnything을 제시합니다. RewardAnything은 기존 RM 벤치마크에서 최고 성능을 달성했으며, RABench에서 새로운 원칙에 대한 적응력 또한 뛰어난 성능을 보였습니다. 또한, RewardAnything은 기존 RLHF 방법과 원활하게 통합될 수 있으며, 자연어 원칙만으로 LLM을 자동적이고 효율적으로 정렬하는 방법을 사례 연구를 통해 보여줍니다.
시사점, 한계점
•
시사점:
◦
자연어로 표현된 보상 원칙을 따르는 일반화 가능한 보상 모델(RewardAnything) 제시
