GP-GS: Gaussian Processes for Enhanced Gaussian Splatting
Created by
Haebom
저자
Zhihao Guo, Jingxuan Su, Shenglin Wang, Jinlong Fan, Jing Zhang, Wei Zhou, Hadi Amirpour, Yunlong Zhao, Liangxiu Han, Peng Wang
개요
3D Gaussian Splatting은 효율적인 사실적인 새로운 뷰 합성 방법으로 등장했지만, 희소한 Structure-from-Motion (SfM) 점 구름에 의존하기 때문에 장면 재구성 품질이 제한됩니다. 본 논문에서는 희소 SfM 점 구름의 적응적이고 불확실성 기반의 밀집화를 가능하게 하는 다중 출력 Gaussian Process 모델을 개발하여 이러한 한계를 해결하는 새로운 3D 재구성 프레임워크인 Gaussian Processes enhanced Gaussian Splatting (GP-GS)를 제안합니다. 특히, GP 기반 예측을 활용하여 입력 2D 픽셀과 깊이 맵으로부터 새로운 후보 점을 추론함으로써 SfM 점 구름을 적응적으로 확장하는 동적 샘플링 및 필터링 파이프라인을 제안합니다. 이 파이프라인은 불확실성 추정을 사용하여 높은 분산 예측의 가지치기를 안내하여 기하학적 일관성을 보장하고 밀집된 점 구름을 생성합니다. 이러한 밀집된 점 구름은 고품질의 초기 3D Gaussian을 제공하여 재구성 성능을 향상시킵니다. 다양한 규모의 합성 및 실제 데이터셋에서 수행된 광범위한 실험은 제안된 프레임워크의 효과와 실용성을 검증합니다.
시사점, 한계점
•
시사점:
◦
희소 SfM 점 구름의 한계를 극복하여 3D Gaussian Splatting의 성능을 향상시키는 새로운 프레임워크 제시.
◦
Gaussian Process를 활용한 적응적이고 불확실성 기반의 점 구름 밀집화 기법 제안.
◦
동적 샘플링 및 필터링 파이프라인을 통해 기하학적 일관성을 유지하며 고품질의 밀집된 점 구름 생성.
