Any2Caption은 다양한 조건(텍스트, 이미지, 비디오, 영역, 움직임, 카메라 포즈 등) 하에서 제어 가능한 비디오 생성을 위한 새로운 프레임워크입니다. 기존 비디오 생성에서 정확한 사용자 의도 해석의 병목 현상을 해결하기 위해, 조건 해석 단계와 비디오 합성 단계를 분리하는 것을 핵심 아이디어로 합니다. 최신 다중 모달 대규모 언어 모델(MLLM)을 활용하여 다양한 입력을 밀집하고 구조화된 캡션으로 해석하여, 기본 비디오 생성기에 더 나은 가이드를 제공합니다. 또한, 다양한 조건에 대한 캡션 생성 지시 학습을 위한 대규모 데이터셋 Any2CapIns (337K 인스턴스, 407K 조건)을 소개합니다. 포괄적인 평가는 다양한 측면에서 기존 비디오 생성 모델의 제어 가능성과 비디오 품질을 크게 향상시켰음을 보여줍니다.
