본 논문은 최근 발전된 오픈소스 시각 언어 모델(VLMs)인 LLaVA, Qwen-VL, Llama 등을 자율 주행 시스템에 통합하는 연구를 제시합니다. VLMs의 인터넷 규모의 일반 지식을 활용하여 자율 주행의 인지, 예측, 계획 기능을 향상시키는 것을 목표로 합니다. 이를 위해 기존 최첨단 엔드-투-엔드 자율 주행 시스템(VAD)에 미세 조정된 VLM을 통합한 VLAD 모델을 제안합니다. 공간 추론 능력 향상을 위한 맞춤형 질의응답 데이터셋을 사용하여 VLM을 미세 조정하고, 향상된 VLM은 고차원적인 주행 명령을 생성하며 VAD는 이를 처리하여 차량을 제어합니다. 또한, 주행 결정에 대한 해석 가능한 자연어 설명을 생성하여 투명성과 신뢰성을 높입니다. nuScenes 실제 데이터셋을 이용한 실험 결과, 기존 방식 대비 평균 충돌률을 31.82% 감소시키는 성능을 보였습니다.
