Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ATI: Any Trajectory Instruction for Controllable Video Generation

Created by
  • Haebom

저자

Angtian Wang, Haibin Huang, Jacob Zhiyuan Fang, Yiding Yang, Chongyang Ma

개요

본 논문은 사전 훈련된 이미지-비디오 생성 모델의 잠재 공간에 사용자 정의 궤적을 투영하는 경량 모션 인젝터를 통해 카메라 움직임, 객체 수준 변환, 미세한 지역적 움직임을 원활하게 통합하는 통합된 비디오 생성 모션 제어 프레임워크를 제안합니다. 기존 방법들이 별도의 모듈이나 작업별 설계를 통해 이러한 모션 유형을 처리하는 것과 달리, 본 연구는 사용자가 지정한 키포인트와 그 움직임 경로를 통해 국소 변형, 전체 객체 움직임, 가상 카메라 역학 또는 이들의 조합을 제어할 수 있는 일관된 솔루션을 제공합니다. 주입된 궤적 신호는 생성 과정을 안내하여 시간적으로 일관되고 의미적으로 정렬된 모션 시퀀스를 생성합니다. 이 프레임워크는 스타일리쉬한 모션 효과, 역동적인 뷰포인트 변경, 정밀한 지역 모션 조작을 포함한 여러 비디오 모션 제어 작업에서 우수한 성능을 보여줍니다. 실험 결과, 제안된 방법은 기존 접근 방식과 상용 솔루션에 비해 훨씬 향상된 제어 성능과 시각적 품질을 제공하는 동시에 다양한 최첨단 비디오 생성 백본과의 광범위한 호환성을 유지합니다.

시사점, 한계점

시사점:
다양한 비디오 모션 제어 작업(스타일리쉬한 모션 효과, 역동적인 뷰포인트 변경, 정밀한 지역 모션 조작 등)에 대한 통합적이고 효율적인 프레임워크 제공.
기존 방법보다 향상된 제어 성능과 시각적 품질 달성.
다양한 최첨단 비디오 생성 백본과의 호환성 확보.
사용자 정의 궤적을 통한 직관적인 모션 제어 가능.
한계점:
본 논문에서는 구체적인 한계점이 언급되지 않았습니다. 추가적인 실험 및 분석을 통해 한계점을 밝힐 필요가 있습니다. 예를 들어, 궤적 설계의 복잡성, 계산 비용, 특정 유형의 모션에 대한 제어 성능의 한계 등이 추가 연구를 통해 밝혀질 수 있습니다.
👍