RealmDreamer는 텍스트 설명으로부터 정면을 향한 3D 장면을 생성하는 기술입니다. 이 방법은 사전 훈련된 확산 모델을 사용하여 복잡한 텍스트 프롬프트와 일치하도록 3D Gaussian Splatting 표현을 최적화합니다. 핵심적인 통찰은 초기 장면 추정치를 조건으로 하는 2D inpainting 확산 모델을 활용하여 3D 증류 중 알 수 없는 영역에 대한 낮은 분산 감독을 제공하는 것입니다. 동시에, inpainting 모델의 샘플을 조건으로 하는 depth diffusion 모델로부터 기하학적 증류를 통해 고충실도 기하학을 부여합니다. 최적화의 초기화가 중요하며, 이를 위한 원칙적인 방법론을 제공합니다. 주목할 만하게, 이 기술은 비디오 또는 다중 뷰 데이터를 필요로 하지 않으며, 다양한 스타일의 복잡한 레이아웃을 가진 다양한 고품질 3D 장면을 합성할 수 있습니다. 또한, 이 방법의 일반성은 단일 이미지로부터 3D 합성을 가능하게 합니다. 포괄적인 사용자 연구에 따르면, 이 방법은 기존의 모든 접근 방식을 능가하며, 88-95%의 선호도를 보였습니다.
