SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models
Created by
- Haebom
Category
Empty
저자
Jiawei Zhang, Xuan Yang, Taiqi Wang, Yu Yao, Aleksandr Petiushko, Bo Li
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM) 기반 자율 주행 시스템의 안전성을 향상시키는 새로운 프레임워크인 SafeAuto를 제안한다. 기존 자율 주행 시스템의 고차원 추론과 저차원 제어 통합의 어려움을 해결하기 위해, SafeAuto는 비정형 및 정형 지식을 모두 통합한다. 구체적으로, 숫자 값을 텍스트로 표현할 때 저차원 제어 신호 예측 정확도를 높이기 위한 위치 의존 교차 엔트로피(PDCE) 손실 함수를 도입하고, 운전 안전 규정을 1차 논리 규칙으로 변환하여 마르코프 논리 네트워크(MLN)와 같은 확률적 그래프 모델에 통합하는 추론 구성 요소를 개발한다. 또한, 비디오 데이터, 제어 신호 및 환경 속성을 활용하여 과거 유사한 운전 경험으로부터 더 효과적으로 학습하는 다중 모달 RAG 모델을 구성한다. PDCE, MLN 및 다중 모달 RAG를 통합하여 SafeAuto는 여러 데이터 세트에서 기존 기준 모델보다 성능이 뛰어나며, 더 정확하고 안전한 자율 주행을 가능하게 한다.
시사점, 한계점
•
시사점:
◦
MLLM 기반 자율 주행 시스템의 안전성을 크게 향상시키는 새로운 프레임워크 제시.
◦
PDCE 손실 함수를 통해 저차원 제어 신호 예측 정확도 향상.
◦
MLN을 이용한 안전 규정의 명시적 통합을 통한 안전한 자율 주행 실현.
◦
다중 모달 RAG 모델을 통한 경험 기반 학습 및 성능 향상.
◦
다양한 데이터셋에서 기존 방법 대비 우수한 성능을 보임.
•
한계점:
◦
제안된 프레임워크의 실제 도로 환경에서의 안전성 및 일반화 성능에 대한 추가적인 검증 필요.
◦
MLN의 복잡성 및 확장성 문제에 대한 고려 필요.
◦
다양한 유형의 안전 위협에 대한 로버스트한 대응 방안 마련 필요.
◦
PDCE, MLN, Multimodal RAG의 상호작용 및 최적화에 대한 추가 연구 필요.
