Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance

Created by
  • Haebom
Category
Empty

저자

Quanhao Li, Zhen Xing, Rui Wang, Hui Zhang, Qi Dai, Zuxuan Wu

개요

본 논문은 기존의 trajectory-controllable video generation 방법들이 복잡한 객체 움직임과 다중 객체 제어에 어려움을 겪고, 정확한 궤적 준수, 객체 일관성 유지, 시각적 품질 저하 등의 문제를 가지는 점을 지적합니다. 또한 단일 형식의 궤적 제어만 지원하고, 공개된 데이터셋이나 벤치마크가 부족하다는 점을 문제점으로 제시합니다. 이를 해결하기 위해, 본 논문에서는 마스크, 바운딩 박스, 스파스 박스 등 세 가지 수준의 조건을 통해 궤적 제어가 가능한 새로운 이미지-투-비디오 생성 프레임워크인 MagicMotion을 제안합니다. MagicMotion은 객체 일관성과 시각적 품질을 유지하면서 정의된 궤적을 따라 객체를 매끄럽게 애니메이션화합니다. 더불어, 대규모 궤적 제어 비디오 데이터셋인 MagicData와 자동 주석 및 필터링 파이프라인, 그리고 포괄적인 벤치마크인 MagicBench를 제시하여 다양한 지표에서 기존 방법보다 우수한 성능을 보임을 실험적으로 입증합니다.

시사점, 한계점

시사점:
다양한 수준의 궤적 제어 조건(마스크, 바운딩 박스, 스파스 박스)을 지원하는 새로운 프레임워크 MagicMotion 제시.
객체 일관성 및 시각적 품질을 유지하면서 복잡한 객체 움직임과 다중 객체 제어 가능.
대규모 trajectory-controllable video 데이터셋 MagicData와 벤치마크 MagicBench 공개.
다양한 지표에서 기존 방법들을 능가하는 성능 입증.
한계점:
MagicMotion의 성능이 다양한 종류의 비디오 데이터에 대해 얼마나 일반화될 수 있는지에 대한 추가적인 연구 필요.
MagicData의 데이터 크기 및 다양성에 대한 제한.
MagicBench의 평가 지표가 모든 측면을 완벽히 반영하지 못할 가능성.
👍