V.I.P. : Iterative Online Preference Distillation for Efficient Video Diffusion Models
Created by
Haebom
저자
Jisoo Kim, Wooseok Seo, Junwan Kim, Seungho Park, Sooyeon Park, Youngjae Yu
개요
본 논문은 자원 제약 환경에서의 텍스트-비디오(T2V) 모델 배포에 대한 관심 증가에 따라 높은 계산 비용을 줄이는 것이 중요해짐에 따라, 성능을 유지하면서 가지치기 및 지식 증류 방법에 대한 광범위한 연구가 진행되고 있음을 배경으로 합니다. 기존 증류 방법은 주로 감독 미세 조정(SFT)에 의존하는데, 이는 용량이 감소된 가지치기된 모델이 교사의 출력과 직접 일치하지 못하여 모드 붕괴를 초래하고 궁극적으로 품질 저하를 야기합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 DPO와 SFT를 통합한 효과적인 증류 방법인 ReDPO를 제안합니다. ReDPO는 DPO를 활용하여 학생 모델이 교사를 수동적으로 모방하는 대신 목표 속성 복구에 집중하도록 유도하고, SFT를 활용하여 전반적인 성능을 향상시킵니다. 또한, 고품질 쌍 데이터 세트를 필터링하고 큐레이팅하는 새로운 프레임워크인 V.I.P.와 교정된 훈련을 위한 단계별 온라인 접근 방식을 제안합니다. VideoCrafter2와 AnimateDiff 두 가지 주요 T2V 모델에서 각각 36.2%와 67.5%의 매개변수 감소를 달성하면서 전체 모델의 성능을 유지하거나 능가함을 검증하였습니다. 추가 실험을 통해 ReDPO와 V.I.P. 프레임워크의 효율적이고 고품질 비디오 생성 가능성을 보여줍니다. 코드와 비디오는 https://jiiiisoo.github.io/VIP.github.io/ 에서 확인할 수 있습니다.
