본 논문은 생성 모델을 인간의 기대에 맞추는 데 사용되는 선호도 학습(Preference learning) 기술을 확산 모델에 적용하는 연구를 소개한다. 기존의 Diffusion-DPO와 같은 방법론은 시간 단계 의존적인 불안정성과 최적화와 데이터 수집 정책 간의 불일치로 인한 오프-정책 편향(off-policy bias)이라는 두 가지 주요 문제에 직면한다. 이를 해결하기 위해, 저자들은 무의미한 시간 단계를 클리핑 및 마스킹하여 안정성을 향상시키고 오프-정책 편향을 부분적으로 완화하는 DPO-CM과, 중요도 샘플링을 통합하여 오프-정책 편향을 완전히 보정하고 확산 과정에서 유익한 업데이트를 강조하는 SDPO (Importance-Sampled Direct Preference Optimization)를 제안한다. CogVideoX-2B, CogVideoX-5B, Wan2.1-1.3B 모델에 대한 실험 결과, 두 방법 모두 기존 Diffusion-DPO보다 우수한 성능을 보였으며, 특히 SDPO가 VBench 점수, 인간 선호도 정렬 및 훈련 견고성 측면에서 뛰어난 결과를 달성했다.
