본 논문은 제한 없는 실제 세계 장면을 위한 사실적인 3D Gaussian Splatting (3DGS)을 생성하기 위해 비디오 생성 모델을 활용하는 직접적인 텍스트-3D 모델인 VideoRFSplat을 제안합니다. 기존 방법들은 2D 생성 모델을 미세 조정하여 카메라 자세와 다중 뷰 이미지를 공동으로 모델링함으로써 다양한 카메라 자세와 실제 세계 장면의 무한한 공간적 범위를 생성하려고 하지만, 모달리티 간 차이로 인해 훈련 및 추론을 안정화하기 위한 추가 모델이 필요하다는 불안정성 문제가 있습니다. VideoRFSplat은 비디오 생성 모델을 미세 조정할 때 다중 뷰 이미지와 카메라 자세를 공동으로 모델링하기 위한 아키텍처와 샘플링 전략을 제안합니다. 핵심 아이디어는 통신 블록을 통해 사전 훈련된 비디오 생성 모델과 전용 자세 생성 모델을 연결하는 이중 스트림 아키텍처를 사용하여 별도의 스트림을 통해 다중 뷰 이미지와 카메라 자세를 생성하는 것입니다. 이 설계는 자세와 이미지 모달리티 간의 간섭을 줄입니다. 또한, 다중 뷰 이미지보다 카메라 자세를 더 빠르게 잡음 제거하는 비동기 샘플링 전략을 제안하여 빠르게 잡음 제거된 자세를 조건으로 다중 뷰 생성을 수행하여 상호 모호성을 줄이고 교차 모달 일관성을 향상시킵니다. RealEstate10K, MVImgNet, DL3DV-10K, ACID와 같은 여러 대규모 실제 세계 데이터셋으로 훈련된 VideoRFSplat은 점수 증류 샘플링을 통한 사후 개선에 크게 의존하는 기존의 텍스트-3D 직접 생성 방법보다 뛰어난 성능을 보이며, 이러한 개선 없이도 우수한 결과를 달성합니다.
