ProtoGS: Efficient and High-Quality Rendering with 3D Gaussian Prototypes
Created by
Haebom
Category
Empty
저자
Zhengqing Gao, Dongting Hu, Jia-Wang Bian, Huan Fu, Yan Li, Tongliang Liu, Mingming Gong, Kun Zhang
개요
3D Gaussian Splatting (3DGS)의 장점을 유지하면서 경량 기기에서의 구현을 저해하는 많은 Gaussian primitives의 수를 줄이기 위한 방법으로 ProtoGS를 제안합니다. ProtoGS는 Gaussian primitives를 표현하기 위해 Gaussian prototypes을 학습하여 Gaussian의 총 개수를 크게 줄이면서 시각적 품질은 유지합니다. Gaussian prototypes을 직접 사용하여 효율적인 렌더링을 가능하게 하고, 재구성 손실을 활용하여 prototype 학습을 유도합니다. 훈련 중 메모리 효율을 더욱 높이기 위해 SfM points를 anchor points로 사용하여 Gaussian primitives를 그룹화합니다. K-means 클러스터링을 통해 각 그룹 내에서 Gaussian prototypes을 도출하고, anchor points와 prototypes을 함께 최적화합니다. 실제 및 합성 데이터셋에서의 실험을 통해 기존 방법보다 우수한 성능을 보이며, Gaussian의 수를 크게 줄이고 렌더링 속도를 높이면서 렌더링 충실도를 유지하거나 향상시킴을 증명합니다.
시사점, 한계점
•
시사점:
◦
Gaussian primitives의 수를 획기적으로 줄여 경량 기기에서의 3DGS 구현 가능성을 높였습니다.
◦
렌더링 속도 향상과 동시에 렌더링 품질을 유지하거나 개선했습니다.
◦
SfM points를 활용한 효율적인 메모리 관리 기법을 제시했습니다.
◦
K-means clustering을 통해 Gaussian prototypes을 효과적으로 학습하는 방법을 제시했습니다.
