On the Robustness of Reward Models for Language Model Alignment
Created by
Haebom
저자
Jiwoo Hong, Noah Lee, Eunki Kim, Guijin Son, Woojin Chung, Aman Gupta, Shao Tang, James Thorne
개요
본 논문은 강화학습에서 인간 피드백을 활용한 보상 모델링에 널리 사용되는 Bradley-Terry (BT) 모델의 과적합 문제를 다룹니다. BT 모델 손실 함수로 학습된 보상 모델(RM)은 과적합으로 인해 보이지 않는 입력 분포에 대한 일반화 성능이 저하되는 경향이 있습니다. 논문에서는 과적합의 원인이 은닉 상태 놈의 과도한 분산에 있음을 보이고, 배치 단위 합계 제로 정규화(BSR) 기법을 제안합니다. BSR은 배치별로 영 중심의 보상 합계를 강제하여 극단적인 크기의 보상을 제한합니다. 네 가지 과적합 시나리오에서 BSR이 보상 모델의 강건성을 향상시키는 것을 실험적으로 보여줍니다. 또한, 강건한 보상 모델이 정책을 골든 표준 선호도 모델에 더 잘 정렬시킨다는 것을 RLHF 훈련을 통해 실험적으로 증명합니다. 마지막으로, 고품질 데이터와 모델에 BSR을 적용하여 복잡한 선호도 예측 작업에서 8B 규모의 최첨단 RM 성능을 5% 이상 능가하는 결과를 얻었습니다. 8B RM으로 RLOO 훈련을 수행한 AlpacaEval 2.0은 생성 길이를 40% 단축하면서 승률을 7% 향상시켰습니다. 코드, 데이터 및 모델은 공개되었습니다 (https://github.com/LinkedIn-XFACT/RM-Robustness).
시사점, 한계점
•
시사점:
◦
BT 모델의 과적합 문제를 해결하기 위한 효과적인 정규화 기법(BSR) 제시.
◦
은닉 상태 놈의 과도한 분산이 과적합의 주요 원인임을 밝힘.
◦
강건한 보상 모델이 RLHF 훈련의 성능과 강건성을 향상시킴을 실험적으로 증명.
◦
8B 규모의 최첨단 RM 성능을 능가하는 결과 달성.
◦
코드, 데이터 및 모델 공개를 통한 재현성 확보.
•
한계점:
◦
BSR의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 RLHF 설정 및 작업에 대한 BSR의 적용성 연구 필요.
◦
특정 데이터셋과 모델에 대한 결과이므로 다른 환경에서의 일반화 가능성에 대한 추가 검증 필요.
