Is Your VLM for Autonomous Driving Safety-Ready? A Comprehensive Benchmark for Evaluating External and In-Cabin Risks
Created by
Haebom
Category
Empty
저자
Xianhui Meng, Yuchen Zhang, Zhijian Huang, Zheng Lu, Ziling Ji, Yaoyao Yin, Hongyuan Zhang, Guangfeng Jiang, Yandan Lin, Long Chen, Hangjun Ye, Li Zhang, Jun Liu, Xiaoshuai Hao
개요
자율 주행 분야에서 Vision-Language Models (VLMs)의 안전성 문제를 해결하기 위해, 외부 환경 위험과 실내 운전 행동 안전성을 동시에 평가하는 포괄적인 Driving Safety Benchmark인 DSBench를 제안합니다. DSBench는 10개의 주요 범주와 28개의 하위 범주로 구성되어 다양한 시나리오를 평가하며, 공개 및 비공개 VLM의 안전성 저하를 확인했습니다. 또한, 98K개의 데이터셋으로 VLM을 fine-tuning하여 안전 성능을 향상시키는 방법을 제시합니다. DSBench의 툴킷, 코드 및 모델 체크포인트는 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
자율 주행 VLM의 안전성 평가를 위한 최초의 종합적인 벤치마크 제공.
◦
외부 환경 위험과 실내 운전 행동 안전성을 통합적으로 평가.
◦
다양한 VLM의 안전성 문제점 확인 및 fine-tuning을 통한 성능 향상 가능성 제시.