Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

VERDI: VLM-Embedded Reasoning for Autonomous Driving

Created by
  • Haebom

저자

Bowen Feng, Zhiting Mei, Baiang Li, Julian Ost, Roger Girgis, Anirudha Majumdar, Felix Heide

개요

본 논문은 부분 관측 및 실세계 복잡성 하에서의 의사결정에 어려움을 겪는 자율 주행(AD) 시스템의 한계를 극복하기 위해, 비전-언어 모델(VLMs)의 추론 능력을 활용하는 새로운 프레임워크인 VERDI를 제안합니다. 기존 VLMs 기반 자율 주행 방법들의 높은 메모리 사용량과 느린 추론 속도 문제를 해결하기 위해, VERDI는 학습 단계에서 VLMs의 추론 과정과 상식적 지식을 AD 스택에 증류하는 방식을 채택합니다. 이는 지각, 예측, 계획 단계의 중간 모듈 출력을 VLMs가 생성한 텍스트 특징과 정렬함으로써 달성됩니다. NuScenes 데이터셋을 이용한 실험 결과, VERDI는 기존 e2e 방법들보다 $\ell_{2}$ 거리 기준 10% 향상된 성능을 보이며, 높은 추론 속도를 유지하는 것으로 나타났습니다.

시사점, 한계점

시사점:
VLMs의 추론 능력을 자율 주행 시스템에 효율적으로 통합하는 새로운 방법 제시.
기존 VLMs 기반 방법들의 높은 메모리 사용량 및 느린 추론 속도 문제 해결.
모듈화된 AD 스택을 통해 안전성 향상 및 유지보수 용이성 증가.
NuScenes 데이터셋에서 기존 e2e 방법 대비 성능 향상 확인.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 검증 필요.
다양한 자율 주행 환경 및 데이터셋에 대한 실험 결과 제시 필요.
VLMs의 설명 가능성 및 신뢰성에 대한 추가적인 연구 필요.
👍