Mutual-Taught for Co-adapting Policy and Reward Models
Created by
Haebom
저자
Tianyuan Shi, Canbin Huang, Fanqi Wan, Longguang Zhong, Ziyi Yang, Weizhou Shen, Xiaojun Quan, Ming Yan
개요
본 논문은 대규모 언어 모델(LLM)의 선호도 최적화 과정에서 발생하는 데이터 분포 불일치 문제를 해결하기 위해 상호 학습(Mutual-Taught)이라는 자기 학습 방법을 제안합니다. 이 방법은 기대 최대화(EM) 알고리즘을 모방하여 정책 모델(PM)과 보상 모델(RM)을 반복적으로 개선합니다. E-단계에서는 현재 RM의 피드백을 사용하여 PM을 업데이트하고, M-단계에서는 PM의 출력을 사용하여 RM을 업데이트함으로써, RM이 진화하는 정책 분포에 적응하도록 합니다. 실험 결과, 이 반복적인 접근 방식은 두 모델 모두의 성능을 지속적으로 향상시키는 것으로 나타났습니다. 특히, 8B 정책 모델인 LLaMA-3-8B-Instruct-MT는 AlpacaEval-2에서 54.1%의 길이 제어 승률을 달성했고, 8B 보상 모델인 FsfairX-LLaMA3-RM-MT는 RewardBench에서 GPT-4o-2024-08-06과 동등한 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
추가적인 인간의 개입 없이 LLM의 선호도 최적화 문제를 해결할 수 있는 효과적인 자기 학습 방법을 제시합니다.
◦
정책 모델과 보상 모델을 동시에 개선하여 상호 시너지 효과를 창출합니다.
◦
제한된 자원으로도 우수한 성능의 LLM을 학습시킬 수 있는 가능성을 보여줍니다.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
다른 LLM 아키텍처 및 데이터셋에 대한 실험 결과가 부족합니다.
◦
EM 알고리즘을 직접적으로 모방하기 때문에, EM 알고리즘의 한계점(예: 지역 최적점에 빠질 가능성)을 공유할 수 있습니다.
◦
AlpacaEval-2와 RewardBench 외 다른 벤치마크에 대한 평가가 필요합니다.
