본 논문은 자율주행 시스템의 감지 한계를 극복하기 위해 차량사물통신(V2X)을 통합한 실시간 경량 비전-언어 모델 기반의 주행 경로 계획 프레임워크인 REACT(Real-time Edge-based Autonomous Co-pilot Trajectory planner)를 제안합니다. REACT는 경량 비전-언어 모델(VLM)을 미세 조정하여 인프라에서 제공하는 위험 경고와 차량 내 센서 데이터를 통합하고, 시각적 임베딩을 통해 복잡한 교통 역학 및 차량 의도를 파악하며, 기호 입력으로부터 정확한 수치 데이터를 해석하고, 상황에 맞는 추론을 통해 안전 중심의 최적화된 경로를 생성합니다. 실시간 배포를 위해 잔차 경로 융합(RTF) 설계와 특수한 에지 적응 전략을 사용하여 모델 복잡성을 줄이고 추론 효율성을 향상시킵니다. DeepAccident 벤치마크 평가 결과, 충돌률 77% 감소, VPQ(Video Panoptic Quality) 48.2%, 추론 지연 시간 0.57초를 달성하여 최첨단 성능을 보였습니다.
