Reg-DPO: SFT-Regularized Direct Preference Optimization with GT-Pair for Improving Video Generation
Created by
Haebom
Category
Empty
저자
Jie Du, Xinyu Gong, Qingshan Tan, Wen Li, Yangming Cheng, Weitao Wang, Chenlu Zhan, Suhui Wu, Hao Zhang, Jun Zhang
개요
본 논문은 비디오 생성 품질 향상을 위한 효율적인 보상 없는 접근 방식인 Direct Preference Optimization (DPO)를 기반으로, 비디오 생성의 고유한 문제점들을 해결하기 위한 새로운 방법론을 제시한다. 구체적으로, 외부 주석 없이 실제 비디오를 긍정 예시, 모델이 생성한 비디오를 부정 예시로 사용하여 고품질 선호 쌍을 자동 구축하는 GT-Pair, 훈련 안정성과 생성 충실도를 높이기 위해 SFT 손실을 DPO 손실에 정규화 항으로 통합한 Reg-DPO, 그리고 FSDP 프레임워크와 여러 메모리 최적화 기술을 결합하여 훈련 용량을 확대한 접근 방식을 제안한다. I2V 및 T2V 작업에 대한 광범위한 실험을 통해 제안된 방법이 기존 접근 방식을 능가하며 우수한 비디오 생성 품질을 제공함을 입증했다.
