본 논문은 텍스트 기반 비디오 생성 모델의 고비용, 데이터 의존성, 그리고 텍스트와 전경 객체의 움직임 간 일관성 유지의 어려움 등의 문제점을 해결하기 위해 마스크 기반 비디오 생성 방법을 제안합니다. 제한된 학습 데이터만으로도 마스크 모션 시퀀스를 통해 비디오 생성을 제어할 수 있도록 기존 아키텍처에 전경 마스크를 통합하여 텍스트-위치 매칭 및 움직임 궤적 제어를 향상시켰습니다. 첫 프레임 공유 전략과 자기회귀 확장 기법을 통해 더욱 안정적이고 긴 비디오 생성을 달성하며, 비디오 편집 및 예술적 비디오 생성 등 다양한 작업에서 기존 방법보다 일관성과 품질 면에서 우수한 성능을 보입니다.
