DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting
Created by
Haebom
저자
Seungjun Lee, Gim Hee Lee
개요
흐릿한 다중 뷰 이미지로부터 선명한 3D 표현을 재구성하는 것은 컴퓨터 비전 분야의 오랜 난제입니다. 최근 연구들은 이벤트 기반 카메라를 활용하여 모션 블러로부터 고품질의 새로운 뷰 합성을 향상시키려고 시도하고 있으며, 높은 다이나믹 레인지와 마이크로초 수준의 시간 분해능으로부터 이점을 얻습니다. 그러나 이러한 방법들은 종종 부정확한 색상 복원 또는 미세한 세부 정보 손실로 인해 최적이 아닌 시각적 품질에 도달합니다. 본 논문에서는 확산 사전과 이벤트 스트림을 이용한 모션 디블러링 3DGS인 DiET-GS를 제시합니다. 본 프레임워크는 두 단계 교육 전략에서 블러가 없는 이벤트 스트림과 확산 사전을 효과적으로 활용합니다. 특히, 이벤트 이중 적분으로 3DGS를 제약하는 새로운 프레임워크를 도입하여 정확한 색상과 명확한 세부 정보를 모두 달성합니다. 또한, 확산 사전을 활용하여 에지 디테일을 더욱 향상시키는 간단한 기법을 제안합니다. 합성 및 실제 데이터에 대한 정성적 및 정량적 결과는 DiET-GS가 기존 기준선과 비교하여 훨씬 더 나은 품질의 새로운 뷰를 생성할 수 있음을 보여줍니다. 프로젝트 페이지는 https://diet-gs.github.io 입니다.