GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling
작성자
카테고리
Empty
저자
Yixuan Lai, Tianjia Shao, Weijia Dou, Siyu Zhu, Jingdong Wang
💡 개요
긴 비디오에서 시각적 일관성을 유지하는 것은 주요 난제입니다. 특히 여러 장면(shot)으로 구성된 비디오에서는 등장인물, 사물, 장소와 같은 엔티티(entity)의 시각적 표현이 초기 등장과 다르게 변형되는 문제가 발생하기 쉽습니다. 본 논문은 엔티티의 첫 등장 시각적 품질이 이후 모든 등장의 일관성 기준이 된다는 관찰에 기반하여, GroundShot이라는 학습이 필요 없는(training-free) 엔티티 중심의 멀티샷 비디오 생성 프레임워크를 제안합니다. GroundShot은 생성된 장면들을 바탕으로 엔티티별 시각적 기억을 구축하고, 이를 활용하여 엔티티 참조의 유용성을 예측하고, 생성 전 신뢰할 수 있는 엔티티 참조를 검색하여 멀티샷 생성 과정에서 엔티티의 시각적 일관성을 높입니다.
🔑 시사점 및 한계
•
엔티티 중심의 일관성 모델링: 비디오의 일관성을 엔티티별 시각적 기억을 중심으로 관리하는 새로운 접근 방식을 제시합니다.
•
학습 불필요 및 모델 불가지론적(Model-Agnostic): 기존 비디오 생성 모델을 수정하거나 추가 학습 없이 적용 가능하여 실용적입니다.
•
새로운 평가 벤치마크(GroundBench) 제시: 엔티티 수준의 일관성을 측정하고 제어된 도전 과제를 분리할 수 있는 진단적 벤치마크를 개발하여 방법론의 효과를 객관적으로 검증했습니다.
•
잠재적 한계: 앙상블 또는 복잡한 장면에서의 엔티티 표현 학습 및 기억 관리의 복잡성, 그리고 매우 긴 비디오에서의 누적 오류 가능성은 추가적인 연구가 필요할 수 있습니다.
