NuRisk: A Visual Question Answering Dataset for Agent-Level Risk Assessment in Autonomous Driving

Created by

Haebom

저자

Yuan Gao, Mattia Piccinini, Roberto Brusnicki, Yuchen Zhang, Johannes Betz

💡 개요

자율 주행에서의 위험 인식을 위해서는 단순히 인지 및 예측을 넘어 행위자와 맥락에 대한 고차원 추론이 필요합니다. 본 논문은 기존 VLM 기반 방법론의 시공간적 추론 부족 문제를 해결하기 위해, 실제 주행 데이터와 시뮬레이션 데이터를 활용하여 2.9만 개의 시나리오와 110만 개의 행위자 수준 샘플로 구성된 NuRisk 데이터셋을 제안합니다. 이 데이터셋은 정량적인 행위자 수준 위험 주석을 포함한 BEV 기반 순차 이미지를 제공하여 시공간적 추론을 가능하게 합니다.

🔑 시사점 및 한계

•

NuRisk 데이터셋은 자율 주행 위험 평가를 위한 행위자 수준의 시공간적 추론 능력을 평가하는 중요한 벤치마크를 제공합니다.

•

제안된 미세 조정된 7B VLM은 기존 VLM들이 부족했던 명시적인 시공간적 추론 능력을 입증하며 정확도를 향상시키고 지연 시간을 크게 줄였습니다.

•

현재까지의 연구 결과는 해당 과제가 매우 어렵다는 것을 보여주며, 제안된 모델의 정확도가 아직 높지 않아 추가적인 연구 발전이 필요합니다.

PDF 보기

Made with Slashpage