DreamSea는 수중 3D 지형의 표현을 생성하는 문제를 해결하는 생성 모델입니다. 인터넷 규모의 데이터로 훈련되었지만 특수한 수중 이미지로는 훈련되지 않은 기존의 생성 모델들은 해저 이미지가 상대적으로 드물기 때문에 현실감이 저하됩니다. DreamSea는 수중 로봇 탐사에서 수집된 실제 세계 이미지 데이터베이스로 훈련됩니다. 이러한 탐사의 이미지는 광대한 실제 해저 관측치를 포함하고 넓은 지역을 덮지만, 실제 세계의 노이즈와 인공물이 발생하기 쉽습니다. 본 논문에서는 시각적 기반 모델을 사용하여 데이터에서 3D 기하학 및 의미론을 추출하고, 새로운 fractal 분포 기반 잠재 임베딩을 조건으로 RGBD 채널에서 사실적인 해저 이미지를 생성하는 확산 모델을 훈련시킵니다. 그런 다음 생성된 이미지를 3D 맵으로 합쳐 2D 확산 사전으로 감독되는 3DGS 모델을 구축하여 사실적인 새로운 뷰 렌더링을 가능하게 합니다. DreamSea는 엄격하게 평가되어 일관성 있고 다양하며 사실적인 대규모 수중 장면을 강력하게 생성할 수 있음을 보여줍니다. 본 연구는 영화 제작, 게임, 로봇 시뮬레이션을 포함한 여러 분야에 영향을 미칩니다.
