본 논문은 이미지-to-비디오 생성 프레임워크인 MagicMotion을 소개합니다. MagicMotion은 마스크, 바운딩 박스, 희소 박스 등 세 가지 수준의 조건을 통해 객체의 움직임을 정밀하게 제어할 수 있도록 설계되었습니다. 이 프레임워크는 입력 이미지와 궤적을 기반으로 객체의 일관성과 시각적 품질을 유지하면서 객체를 정의된 궤적을 따라 애니메이션합니다. 또한 대규모 궤적 제어 비디오 데이터 세트인 MagicData와 비디오 품질 및 궤적 제어 정확도를 평가하는 포괄적인 벤치마크인 MagicBench를 제시합니다. 실험 결과 MagicMotion이 기존 방법보다 우수한 성능을 보였습니다.
시사점, 한계점
•
다양한 형식(마스크, 바운딩 박스, 희소 박스)의 궤적 제어를 지원하여 다양한 시나리오에 적용 가능.
•
MagicData 데이터 세트 및 MagicBench 벤치마크를 통해 궤적 제어 비디오 생성 연구를 촉진.
•
MagicMotion은 객체 일관성 및 시각적 품질을 유지하면서 궤적을 따라 객체를 애니메이션하는 데 성공.
