기존 카메라 모션 제어 비디오 생성 방법들은 미세 조정 및 추론에서 계산 병목 현상에 직면합니다. 본 논문에서는 경량이며 미세 조정이 필요 없는 카메라 모션 시뮬레이션 비디오 생성 방법인 LightMotion을 제안합니다. 잠재 공간에서 동작하여 추가적인 미세 조정, 인페인팅 및 깊이 추정을 제거함으로써 기존 방법보다 간소화된 프로세스를 제공합니다. 본 논문의 주요 내용은 다음과 같습니다: (i) 잠재 공간 순열 연산을 통해 파닝, 줌, 회전과 같은 다양한 카메라 모션을 효과적으로 시뮬레이션합니다. (ii) 잠재 공간 재샘플링 전략은 배경 인식 샘플링과 프레임 간 정렬을 결합하여 새로운 관점을 정확하게 채우는 동시에 프레임 간의 일관성을 유지합니다. (iii) 잠재 공간의 순열 및 재샘플링이 SNR 변화를 유발하여 생성 품질 저하를 야기함을 심층 분석을 통해 보여줍니다. 이를 해결하기 위해 잡음 제거 중에 잡음을 재도입하여 SNR 변화를 완화하고 비디오 생성 품질을 향상시키는 잠재 공간 보정을 제안합니다. 광범위한 실험을 통해 LightMotion이 기존 방법보다 정량적 및 정성적으로 우수한 성능을 보임을 보여줍니다.
