Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ProtoGS: Efficient and High-Quality Rendering with 3D Gaussian Prototypes

Created by
  • Haebom

저자

Zhengqing Gao, Dongting Hu, Jia-Wang Bian, Huan Fu, Yan Li, Tongliang Liu, Mingming Gong, Kun Zhang

개요

3D Gaussian Splatting (3DGS)는 새로운 뷰 합성에서 상당한 발전을 이루었지만, 많은 수의 Gaussian primitives가 필요하다는 점 때문에 경량 장치 배포에 어려움이 있습니다. 기존 방법들은 압축을 통해 이 문제를 해결하려고 시도했지만, 렌더링 품질과 효율성을 유지하지 못했습니다. 본 논문에서는 Gaussian primitives를 나타내는 Gaussian prototypes을 학습하는 ProtoGS를 제안하여, 시각적 품질 저하 없이 Gaussian의 총 개수를 크게 줄입니다. ProtoGS는 Gaussian prototypes을 직접 사용하여 효율적인 렌더링을 가능하게 하고, 재구성 손실을 이용하여 prototype 학습을 유도합니다. 메모리 효율을 더욱 높이기 위해 구조-운동(SfM) 점을 anchor point로 사용하여 Gaussian primitives를 그룹화합니다. 각 그룹 내에서 K-means clustering을 통해 Gaussian prototypes을 도출하고, anchor points와 prototypes를 함께 최적화합니다. 실제 및 합성 데이터셋에서의 실험을 통해 기존 방법보다 우수한 성능을 보이며, Gaussian 수를 크게 줄이고 높은 렌더링 속도를 달성하면서 렌더링 충실도를 유지하거나 향상시키는 것을 입증합니다.

시사점, 한계점

시사점:
Gaussian primitives의 수를 크게 줄여 경량 장치에서의 3DGS 배포 가능성을 높였습니다.
렌더링 속도를 향상시키면서 렌더링 품질을 유지하거나 개선했습니다.
SfM points를 활용한 효율적인 Gaussian prototype 학습 방법을 제시했습니다.
실험 결과를 통해 제안된 방법의 우수성을 입증했습니다.
한계점:
K-means clustering에 의존하는 알고리즘의 성능이 클러스터링의 초기값에 민감할 수 있습니다.
SfM points의 정확도에 따라 성능이 영향을 받을 수 있습니다.
특정 유형의 장면에 대해서는 성능이 저하될 가능성이 있습니다.
대규모 데이터셋에 대한 확장성에 대한 추가적인 연구가 필요합니다.
👍