Availability-aware Sensor Fusion via Unified Canonical Space for 4D Radar, LiDAR, and Camera
Created by
- Haebom
Category
Empty
저자
Dong-Hee Paek, Seung-Hyun Kong
개요
카메라, 라이다, 4차원(4D) 레이더의 센서 융합은 자율주행(AD) 성능을 크게 향상시켰지만, 기존의 깊게 결합된 융합 방식은 지속적인 센서 가용성을 가정하여 센서 성능 저하 및 고장에 취약하고, 센서별 교차 어텐션 융합 방식은 계산 비용과 통합된 특징 표현에 어려움을 겪습니다. 본 논문에서는 모든 센서 특징의 일관성을 가능하게 하는 통합 정준 투영(UCP)과 센서 성능 저하 및 고장에 대한 센서 융합의 강건성을 향상시키는 패치를 따라 센서 간 교차 어텐션(CASAP)을 사용하는 새로운 가용성 인식 센서 융합(ASF) 방법을 제시합니다. 제안된 ASF는 다양한 날씨 및 센서 성능 저하(또는 고장) 조건에서 기존 최첨단 융합 방법보다 우수한 객체 탐지 성능을 보여줍니다. K-Radar 데이터셋에 대한 광범위한 실험 결과, ASF는 IoU=0.5에서 객체 탐지의 AP BEV(87.2%)에서 9.7%, AP 3D(73.6%)에서 20.1%의 향상을 달성하는 동시에 낮은 계산 비용을 필요로 합니다. 코드는 https://github.com/kaist-avelab/K-Radar 에서 제공될 예정입니다.
시사점, 한계점
•
시사점:
◦
통합 정준 투영(UCP)과 패치를 따라 센서 간 교차 어텐션(CASAP)을 이용한 가용성 인식 센서 융합(ASF) 방법 제시
◦
다양한 날씨 및 센서 고장 조건에서 기존 최첨단 융합 방법보다 우수한 객체 탐지 성능
◦
K-Radar 데이터셋에서 AP BEV 9.7%, AP 3D 20.1% 성능 향상
◦
낮은 계산 비용
•
한계점:
◦
K-Radar 데이터셋에 대한 실험 결과만 제시, 다른 데이터셋에 대한 일반화 성능 검증 필요
◦
실제 자율주행 환경에서의 성능 평가 부족
◦
코드 공개는 미래 시점에 예정되어 있음.
