본 논문은 대규모 언어 모델(LLM)의 정렬을 위한 새로운 방법인 AlignDistil을 제안합니다. 기존의 강화 학습 기반 인간 피드백(RLHF) 및 직접적 선호도 최적화(DPO) 방법들은 응답 전체에 대한 스파스한 보상 또는 선호도 주석을 사용하여 모든 토큰을 최적화하기 때문에, 고품질 토큰을 잘못 처벌하거나 저품질 토큰을 장려하여 성능 저하 및 수렴 속도 저하를 초래할 수 있습니다. AlignDistil은 토큰 수준의 보상 최적화를 위한 RLHF와 동등한 증류 방법으로, DPO에서 학습된 보상을 RLHF 목표에 도입하고 이를 토큰 수준 증류 과정과 이론적으로 동등함을 증명합니다. 여기서 교사 분포는 DPO 모델과 참조 모델의 로짓을 선형적으로 결합합니다. 또한 정상 및 역 DPO 모델을 사용한 대조적 DPO 보상을 구축하여 DPO 모델의 보상과 순수 보상 모델 간의 정확도 차이를 해소하고, 토큰 적응적 로짓 외삽 메커니즘을 설계하여 각 토큰에 적절한 교사 분포를 구성함으로써 토큰별 과적합 및 과소적합을 방지합니다. 실험 결과는 AlignDistil이 기존 방법보다 우수하며 토큰 수준의 분포 보상 최적화로 인해 빠른 수렴을 보여줍니다.
