본 논문은 자율 주행, SLAM, 3D 장면 재구성과 같은 응용 분야에서 중요한 비디오 기반의 견고한 3D 기하학적 구조 추정을 제안합니다. 기존 RGB 기반 접근 방식의 한계를 극복하기 위해, EAG3R이라는 새로운 기하학적 구조 추정 프레임워크를 개발하여 포인트 맵 기반 재구성을 비동기 이벤트 스트림으로 보강합니다. EAG3R은 MonST3R 백본을 기반으로 하며, (1) Retinex에서 영감을 받은 이미지 향상 모듈과 SNR 인식 융합 메커니즘을 갖춘 경량 이벤트 어댑터 (2) 전역 최적화 과정에서 시공간적 일관성을 강화하는 새로운 이벤트 기반 광도 일관성 손실을 도입합니다. 본 방법은 야간 데이터에 대한 재훈련 없이, 까다로운 동적 저조도 환경에서 견고한 기하학적 구조 추정을 가능하게 합니다.
시사점, 한계점
•
RGB-only 방식의 한계를 극복하고 동적 환경 및 극한 조명 조건에서도 견고한 3D 기하학적 구조 추정 가능
•
저조도 환경에서 추가적인 데이터 재훈련 없이도 성능 향상
•
모노큘러 깊이 추정, 카메라 포즈 추적, 동적 재구성 등 다양한 작업에서 SOTA (State-of-the-Art) 성능 달성
