Xiangyu Han, Zhen Jia, Boyi Li, Yan Wang, Boris Ivanovic, Yurong You, Lingjie Liu, Yue Wang, Marco Pavone, Chen Feng, Yiming Li
개요
본 논문은 자율주행 자동차(AV)의 훈련 및 평가에 필수적인 사실적인 시뮬레이터에서, 다양한 미지의 시점을 생성하는 새로운 뷰 합성(NVS)의 중요성을 강조합니다. 최근의 방사선 필드(radiance fields) 발전은 실시간 속도로 사실적인 렌더링을 달성하지만, 주로 상관관계가 높은 훈련 및 테스트 뷰를 사용한 보간 설정에서 평가됩니다. 본 논문은 훈련 뷰에서 크게 벗어난 테스트 뷰를 사용하는 외삽(extrapolation) 설정을 중점적으로 다루며, 여러 주행 데이터, 차량, 카메라를 활용하여 최초의 외삽 도시 뷰 합성(EUVS) 벤치마크를 구축합니다. 최첨단 NVS 방법에 대한 정량적 및 정성적 평가를 수행하여, 기존 방법들이 훈련 뷰에 과적합되는 경향이 있음을 밝히고, 확산 사전(diffusion priors) 통합 및 기하학 개선만으로는 큰 시점 변화에서 NVS 성능을 근본적으로 향상시킬 수 없음을 보여줍니다. 더욱 강력한 접근 방식과 대규모 훈련의 필요성을 강조하며, 자율주행 및 도시 로봇 시뮬레이션 기술 발전을 위한 데이터 공개를 약속합니다.
시사점, 한계점
•
시사점:
◦
최초의 외삽 도시 뷰 합성(EUVS) 벤치마크를 제시하여 NVS 방법의 일반화 성능 평가를 위한 새로운 기준을 마련했습니다.
◦
최첨단 NVS 방법들이 훈련 데이터에 과적합되는 현상을 실험적으로 증명했습니다.
◦
큰 시점 변화에서의 NVS 성능 향상을 위해서는 기하학 개선이나 확산 사전 통합 외 추가적인 접근 방식이 필요함을 시사했습니다.
◦
EUVS 벤치마크 데이터 공개를 통해 자율주행 및 도시 로봇 시뮬레이션 기술 발전에 기여할 것으로 예상됩니다.
•
한계점:
◦
현재의 NVS 방법들이 큰 시점 변화에 취약하며, 보다 강건한 접근 방식이 필요하다는 점을 제시했으나, 구체적인 해결책은 제시하지 않았습니다.
