Rebalancing Reference Frame Dominance to Improve Motion in Image-to-Video Models

작성자

Haebom

카테고리

Empty

저자

Wooseok Jeon, Seungho Park, Seunghyun Shin, Sangeyl Lee, Hyeonho Jeong, Hae-Gon Jeon

💡 개요

본 논문은 이미지-비디오(Image-to-Video, I2V) 생성 모델이 텍스트-비디오(Text-to-Video, T2V) 모델에 비해 정적인 비디오를 생성하는 경향이 있다는 문제점을 지적합니다. 연구진은 참조 프레임(reference frame)의 과도한 지배력이 영상 내 움직임을 억제하는 핵심 원인임을 규명하고, 이를 해결하기 위해 참조 프레임으로 향하는 어텐션 경로를 재조정하는 훈련 불필요 및 모델 불변 방법론인 DyMoS를 제안합니다. DyMoS는 기존 이미지와 모델 가중치는 그대로 유지하면서, 단일 스칼라 파라미터를 통해 움직임 강도를 제어하여 움직임 역학을 향상시키는 동시에 시각적 품질과 참조 이미지 충실도를 유지합니다.

🔑 시사점 및 한계

•

이미지-비디오 생성에서 참조 프레임의 과도한 어텐션이 움직임 부족의 주요 원인임을 밝혀냈습니다.

•

훈련 과정이나 모델 가중치 변경 없이 참조 프레임 지배력을 재조정하는 DyMoS 방법론은 기존 I2V 모델의 성능을 효과적으로 개선할 수 있습니다.

•

DyMoS는 움직임 강도를 사용자가 원하는 대로 조절할 수 있는 유연성을 제공하며, 시각적 품질과 참조 이미지와의 일관성을 유지하면서도 동적인 비디오 생성을 가능하게 합니다.

•

DyMoS의 효과가 주로 초기 디노이징 단계에서의 어텐션 재조정에 의존하므로, 복잡하고 장기적인 움직임 패턴을 생성하는 데는 한계가 있을 수 있으며, 이에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage