HybridGS: Decoupling Transients and Statics with 2D and 3D Gaussian Splatting
Created by
- Haebom
Category
Empty
저자
Jingyu Lin, Jiaqi Gu, Lubin Fan, Bojian Wu, Yujing Lou, Renjie Chen, Ligang Liu, Jieping Ye
개요
본 논문은 3D Gaussian Splatting (3DGS)을 이용한 고품질 새로운 뷰 렌더링에서 일시적인 객체가 포함된 장면을 처리하는 어려움을 해결하기 위해 HybridGS라는 새로운 하이브리드 표현 방식을 제안합니다. HybridGS는 정적 장면에는 기존의 3D Gaussian을 유지하고, 일시적인 객체에는 이미지별 2D Gaussian을 사용합니다. 이는 정적 장면에 적합한 3DGS가 다중 뷰 일관성을 가정하지만 일시적인 객체는 이러한 가정을 따르지 않기 때문에, 단일 뷰에서 평면 객체로 모델링하여 2D Gaussian으로 표현하는 데 있습니다. 또한, 다중 뷰 규제 감독 방법과 효과적인 다단계 학습 전략을 제시하여 다양한 설정에서 강력한 학습과 고품질 뷰 합성을 보장합니다. 실험 결과, 실내외 장면 모두에서 방해 요소가 존재하는 경우에도 최첨단 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
3DGS의 한계점인 일시적 객체 처리 문제에 대한 효과적인 해결책 제시
◦
2D Gaussian과 3D Gaussian을 결합한 하이브리드 표현 방식의 우수성 증명
◦
다중 뷰 규제 감독 방법과 다단계 학습 전략을 통해 고품질 뷰 합성 성능 향상
◦
실내외 다양한 환경에서의 최첨단 성능 달성
•
한계점:
◦
제안된 방법의 계산 비용 및 복잡도에 대한 분석 부족
◦
다양한 유형의 일시적 객체에 대한 일반화 성능에 대한 추가적인 평가 필요
◦
2D Gaussian을 이용한 일시적 객체 표현의 정확도 한계
◦
특정 유형의 일시적 객체에 대한 편향 가능성 존재
