Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion
Created by
Haebom
Category
Empty
저자
Xun Huang, Zhengqi Li, Guande He, Mingyuan Zhou, Eli Shechtman
Self Forcing: Autoregressive Video Diffusion Models를 위한 새로운 훈련 패러다임
개요
본 논문은 자기 회귀 비디오 확산 모델을 위한 새로운 훈련 패러다임인 Self Forcing을 소개합니다. 이는 모델이 추론 시 자체적으로 생성한 불완전한 출력을 기반으로 시퀀스를 생성해야 하는 노출 편향 문제를 해결합니다. Self Forcing은 이전 프레임의 생성된 출력을 기반으로 각 프레임의 생성을 조건화하여 자기 회귀 롤아웃을 수행하고 훈련 중 키-값(KV) 캐싱을 활용합니다. 이 전략을 통해 전체 생성된 시퀀스의 품질을 직접 평가하는 전체적인 손실을 통해 감독이 가능하며, 기존의 프레임 단위 목표에만 의존하지 않습니다. 훈련 효율성을 위해 소수의 단계 확산 모델과 확률적 기울기 절단 전략을 사용하여 계산 비용과 성능의 균형을 맞춥니다. 또한 효율적인 자기 회귀 비디오 외삽을 가능하게 하는 롤링 KV 캐시 메커니즘을 도입합니다.
