본 논문은 대규모 언어 모델(LLM)의 정렬을 위해 기존의 응답 수준 보상(sparse, response-level reward) 기반 강화학습(RLHF) 및 직접적 선호도 최적화(DPO)의 한계를 극복하는 새로운 방법인 AlignDistil을 제안합니다. AlignDistil은 토큰 수준 보상 최적화를 위한 RLHF 등가 증류(distillation) 방법으로, DPO에서 학습된 보상을 RLHF 목적 함수에 도입하여 토큰 수준 증류 과정과의 등가성을 이론적으로 증명합니다. 이는 DPO 모델과 기준 모델의 로짓을 선형적으로 결합한 교사 분포(teacher distribution)를 사용합니다. 또한, 정상 및 역 DPO 모델을 사용한 대조적 DPO 보상(contrastive DPO reward)을 통해 DPO 모델의 보상과 순수 보상 모델 간의 정확도 차이를 줄이고, 토큰 적응형 로짓 외삽(token adaptive logit extrapolation) 메커니즘을 통해 각 토큰에 적합한 교사 분포를 구성하여 과적합 및 과소적합을 방지합니다. 실험 결과, AlignDistil은 기존 방법보다 우수한 성능과 빠른 수렴 속도를 보입니다.
