본 논문은 대규모 언어 모델(LLM)의 선호도 정렬 훈련에 드는 높은 계산 비용을 줄이는 효율적인 방법을 제시합니다. 정렬 훈련은 모델에 새로운 지식을 주입하기보다는 작은 매개변수 변화만을 포함하는 경우가 많다는 점에 착안하여, ExPO(모델 외삽법)라는 간단한 방법을 제안합니다. ExPO는 부분적으로 훈련된 모델과 초기 SFT 체크포인트를 사용하여 1차 근사를 기반으로 매개변수 변화를 증폭시킴으로써 정렬 훈련의 암묵적 최적화 목표를 개선합니다. 추가적인 훈련 오버헤드 없이도 이루어집니다. 실험 결과, ExPO는 20%의 훈련 단계만으로 DPO 모델을 훈련시켜 완전히 훈련된 모델보다 성능이 우수함을 보여줍니다. 또한, 18억 개에서 700억 개의 매개변수를 가진 기존 오픈소스 LLM의 AlpacaEval 2.0 및 MT-Bench 벤치마크 성능을 개선하여, LLM 정렬을 효율적으로 향상시키는 ExPO의 광범위한 유용성을 강조합니다.
