본 논문은 단일 이미지로부터 가우시안 스플랫을 이용해 완전한 3D 장면을 재구성하는 새로운 방법을 제안합니다. 기존의 가우시안 스플래팅 기법은 밀집된 관측 데이터를 필요로 하며, 폐색되거나 관측되지 않은 영역을 재구성하는 데 어려움을 겪습니다. 본 연구에서는 잠재 확산 모델을 활용하여 단일 이미지만으로도 폐색된 부분을 포함한 완전한 3D 장면을 재구성합니다. 폐색된 영역의 표면을 완성하는 것은 모호성 때문에 어려운 문제인데, 기존 방법들은 단일 "모드"를 예측하는 회귀 기반 방식을 사용하여 흐릿함, 비현실성, 다중 해석 불가능 등의 문제를 야기합니다. 반면, 본 연구에서는 단일 입력 이미지를 조건으로 가우시안 스플랫의 3D 표현 분포를 학습하는 생성적 방식을 제안합니다. 정답 데이터 부족 문제를 해결하기 위해 자기 지도 학습 방식으로 2D 이미지만을 사용하여 잠재 공간을 학습하는 변분 자동 재구성기를 제안하고, 이를 기반으로 확산 모델을 학습합니다. 결과적으로, 본 방법은 충실한 재구성과 다양한 샘플을 생성하며, 고품질의 360도 렌더링을 위해 폐색된 표면을 완성할 수 있습니다.
