본 논문은 기존 자율 주행 시스템의 고차원 추론과 저차원 제어 간 연결 문제를 해결하기 위해, 시각 및 텍스트 데이터를 처리하는 다중 모달 대규모 언어 모델(MLLM)을 활용하는 SafeAuto 프레임워크를 제안합니다. SafeAuto는 비정형 및 정형 지식을 통합하여 안전성을 강화합니다. 구체적으로, 텍스트로 표현된 값의 저차원 제어 신호 예측을 개선하기 위해 위치 의존 교차 엔트로피(PDCE) 손실 함수를 도입하고, 교통 규칙을 일차 논리로 변환하여 확률적 그래프 모델(예: 마르코프 논리 네트워크, MLN)에 통합하여 예측된 행동을 검증합니다. 또한, 다중 모달 검색 증강 생성(RAG) 모델을 통해 과거 주행 경험으로부터 학습합니다. PDCE, MLN, 다중 모달 RAG를 통합한 SafeAuto는 다양한 데이터셋에서 기존 기준 모델보다 우수한 성능을 보이며, 더 정확하고 안정적이며 안전한 자율 주행을 가능하게 합니다. 소스 코드는 깃허브에서 공개됩니다.
