DiTraj: training-free trajectory control for video diffusion transformer
Created by
Haebom
저자
Cheng Lei, Jiayu Zhang, Yue Ma, Xinyu Wang, Long Chen, Liang Tang, Yiqiang Yan, Fei Su, Zhicheng Zhao
개요
본 논문은 3D full attention 기반의 Diffusion Transformer (DiT)을 활용한 비디오 생성 모델에서 텍스트-비디오 생성 시 궤적 제어를 위한 간단하고 효과적인 training-free 프레임워크인 DiTraj를 제안한다. DiTraj는 사용자가 제공한 프롬프트를 LLM을 통해 foreground와 background 프롬프트로 분리하여 비디오의 foreground와 background 영역 생성을 유도하고, inter-frame Spatial-Temporal Decoupled 3D-RoPE (STD-RoPE)를 제안하여 궤적 제어를 강화한다. STD-RoPE는 foreground 토큰의 position embedding만을 수정하여 cross-frame spatial 불일치를 제거하고, 3D-aware 궤적 제어를 위해 position embedding의 밀도를 조절한다. 실험 결과는 제안된 방법이 비디오 품질과 궤적 제어 성능에서 기존 방법들을 능가함을 보여준다.
시사점, 한계점
•
시사점:
◦
DiT 기반의 비디오 생성 모델에서 training-free 방식으로 궤적 제어를 가능하게 함.
◦
LLM을 활용하여 foreground/background 분리를 통한 궤적 제어 프레임워크 제시.
◦
STD-RoPE를 통해 cross-frame attention을 강화하여 궤적 제어 성능 향상.
◦
3D-aware 궤적 제어를 위한 position embedding 밀도 조절 기법 제안.
