Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving

Created by
  • Haebom
Category
Empty

저자

Dacheng Liao, Mengshi Qi, Peng Shu, Zhining Zhang, Yuxin Lin, Liang Liu, Huadong Ma

개요

본 논문은 현재 Vision-Language Model (VLM) 기반 자율 주행 시스템의 실질적인 유효성을 평가하기 위해, end-to-end 궤적 예측 작업에 초점을 맞춘 최초의 견고성 벤치마크인 RoboDriveBench를 소개합니다. 이 벤치마크는 환경 변화로 인한 센서 손상 6가지 시나리오와, 인간의 개입 및 데이터 전송 실패로 인한 프롬프트 손상 5가지 시나리오를 포함하는 11개의 시뮬레이션 시나리오를 통해 VLM 기반 end-to-end 자율 주행 시스템에 대한 두 가지 주요 실세계 문제를 체계적으로 평가합니다. 또한, 다중 모달 데이터를 통합하는 RoboDriveVLM이라는 새로운 VLM 기반 자율 주행 프레임워크와, 상호 모달 지식 증류를 기반으로 하는 새로운 Test-Time Adaptation (TTA) 방법을 제안하여 VLM 기반 자율 주행 시스템의 견고성을 향상시킵니다.

시사점, 한계점

•
시사점:
◦
VLM 기반 자율 주행 시스템의 실세계 문제(센서 및 프롬프트 손상)에 대한 체계적인 평가를 위한 RoboDriveBench 벤치마크 제공.
◦
RoboDriveVLM 프레임워크 및 TTA 방법을 통해 VLM 기반 자율 주행 시스템의 견고성 향상 가능성 제시.
◦
현재 VLM 기반 end-to-end 자율 주행 시스템의 한계점 제시 및 실세계 배포를 위한 개선된 솔루션 제시.
◦
소스 코드 및 데이터셋 공개 예정.
•
한계점:
◦
구체적인 VLM 기반 end-to-end 자율 주행 시스템의 성능 개선 정도에 대한 정량적 데이터가 제시되지 않음 (RoboDriveVLM 및 TTA 방법의 성능).
◦
시뮬레이션 환경 기반으로, 실제 도로 환경에서의 성능 검증 필요.
◦
제안된 방법의 일반화 가능성에 대한 추가 연구 필요.
👍
Made with Slashpage