Reangle-A-Video는 단일 입력 비디오로부터 동기화된 다중 뷰 비디오를 생성하는 통합 프레임워크입니다. 대규모 4D 데이터셋으로 다중 뷰 비디오 확산 모델을 학습하는 기존 방법과 달리, 공개적으로 이용 가능한 이미지 및 비디오 확산 사전 정보를 활용하여 비디오 간 변환으로 다중 뷰 비디오 생성 작업을 재구성합니다. 두 단계로 구성됩니다. 첫째, 이미지-비디오 확산 변환기를 자기 지도 방식으로 동기적으로 미세 조정하여 왜곡된 비디오 세트에서 뷰 불변 모션을 추출합니다. 둘째, 입력 비디오의 첫 번째 프레임을 DUSt3R을 사용하여 추론 시간 크로스-뷰 일관성 지침에 따라 다양한 카메라 관점으로 왜곡하고 보간하여 다중 뷰 일관성 시작 이미지를 생성합니다. 정적 뷰 전송 및 동적 카메라 제어에 대한 광범위한 실험을 통해 기존 방법을 능가하는 성능을 보여줍니다. 코드와 데이터를 공개할 예정입니다.
