Reangle-A-Video는 단일 입력 비디오로부터 동기화된 다중 뷰 비디오를 생성하는 통합 프레임워크입니다. 대규모 4D 데이터셋에서 다중 뷰 비디오 확산 모델을 학습하는 주류 접근 방식과 달리, 본 방법은 공개적으로 이용 가능한 이미지 및 비디오 확산 사전 정보를 활용하여 다중 뷰 비디오 생성 작업을 비디오 간 변환으로 재구성합니다. Reangle-A-Video는 두 단계로 작동합니다. 첫째, 이미지-비디오 확산 트랜스포머를 자기 지도 방식으로 동기적으로 미세 조정하여 왜곡된 비디오 세트에서 뷰 불변 모션을 추출합니다. 둘째, 입력 비디오의 첫 번째 프레임을 DUSt3R을 사용하여 추론 시간 교차 뷰 일관성 지침에 따라 다양한 카메라 관점으로 왜곡 및 채우기하여 다중 뷰 일관성 시작 이미지를 생성합니다. 정적 뷰 전송 및 동적 카메라 제어에 대한 광범위한 실험을 통해 Reangle-A-Video가 기존 방법을 능가하여 다중 뷰 비디오 생성에 대한 새로운 솔루션을 제시함을 보여줍니다. 코드와 데이터를 공개할 예정입니다.
