본 논문은 Vision-Language Model (VLM)을 활용하여 자율주행 시스템의 성능을 향상시키는 새로운 프레임워크인 VLM-E2E를 제안합니다. 기존 자율주행 시스템이 2D 관측 데이터를 3D 공간으로 변환하는 과정에서 중요한 의미 정보를 잃는 문제점을 해결하기 위해, VLM의 우수한 장면 이해 및 추론 능력을 활용하여 주의 집중적 의미 정보를 제공하는 방식으로 학습을 강화합니다. 특히, 텍스트 표현을 Bird's-Eye-View (BEV) 특징에 통합하여 의미적 감독을 제공하고, BEV-Text 학습 가능 가중치 융합 전략을 통해 모달 간 불균형 문제를 해결함으로써 시각 및 텍스트 모달리티의 상호 보완적인 정보를 효과적으로 활용합니다. nuScenes 데이터셋을 이용한 실험 결과, 기존 end-to-end 모델에 비해 인지, 예측, 계획 성능이 크게 향상됨을 보여주며, 주의 집중 강화 BEV 표현의 효과를 입증합니다.
