ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model
Created by
Haebom
저자
Fangfu Liu, Wenqiang Sun, Hanyang Wang, Yikai Wang, Haowen Sun, Junliang Ye, Jun Zhang, Yueqi Duan
개요
본 논문은 제한된 입력 사진으로부터 정교한 3D 장면 재구성을 수행하는 새로운 방법인 ReconX를 제안합니다. 기존의 3D 장면 재구성 방법들이 부족한 시점 정보로 인해 인공물과 왜곡이 발생하는 문제점을 해결하기 위해, ReconX는 사전 훈련된 비디오 확산 모델의 강력한 생성 사전 지식을 활용하여 희소 시점 재구성 문제를 시간적 생성 작업으로 재구성합니다. 입력 시점들을 바탕으로 전역 점 구름을 생성하고 이를 문맥 정보로 인코딩하여 비디오 확산 모델을 유도하며, 세부 정보를 유지하면서 3D 일관성이 높은 비디오 프레임을 합성합니다. 마지막으로, 신뢰도 기반 3D Gaussian Splatting 최적화 기법을 통해 생성된 비디오에서 3D 장면을 복구합니다. 실험 결과, ReconX는 기존 최첨단 방법들보다 우수한 성능과 일반화 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
제한된 시점 정보로부터 고품질 3D 장면 재구성이 가능함을 보여줌.
◦
사전 훈련된 비디오 확산 모델을 활용하여 3D 재구성 문제에 대한 새로운 접근 방식을 제시함.
◦
신뢰도 기반 3D Gaussian Splatting 최적화를 통해 3D 일관성을 향상시킴.
