본 논문은 대규모 언어 모델(LLM)의 선호도 정렬 훈련에 드는 높은 계산 비용을 줄이는 효율적인 방법을 제시합니다. 기존의 정렬 훈련이 모델에 새로운 지식을 주입하기보다는 작은 파라미터 변화만을 수반한다는 점에 착안하여, ExPO(모델 외삽법)라는 간단한 방법을 제안합니다. ExPO는 부분적으로 훈련된 모델과 초기 SFT 체크포인트를 사용하여, 추가적인 훈련 없이 1차 근사에 기반한 파라미터 변화를 증폭함으로써 정렬 훈련의 암시적 최적화 목표를 개선합니다. 실험 결과, ExPO는 20%의 훈련 단계만으로 DPO 모델의 성능을 완전 훈련된 모델보다 뛰어넘게 만들었습니다. 또한, 18억에서 700억 개의 파라미터를 가진 기존 오픈소스 LLM의 AlpacaEval 2.0 및 MT-Bench 벤치마크 성능을 향상시키는 것을 보여주어, LLM 정렬 향상에 있어 ExPO의 광범위한 유용성을 강조합니다.
