Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense
Created by
- Haebom
Category
Empty
저자
Yuting Hu, Chenhui Xu, Ruiyang Qin, Dancheng Liu, Amir Nassereldine, Yiyu Shi, Jinjun Xiong
개요
본 논문은 자율주행 자동차의 부분적인 인지 결손 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 새로운 프레임워크인 LLM-RCO를 제안합니다. LLM-RCO는 위험 추론, 단기 운동 계획, 행동 조건 검증, 안전 제약 생성 등 네 가지 주요 모듈로 구성되어 있으며, 인지 결손 상황에서도 인간과 유사한 상식적인 주행 판단을 통해 상황에 맞는 적극적인 제어 행동을 가능하게 합니다. 또한, 인지 결손 상황을 포함하는 53,895개의 비디오 클립으로 구성된 DriveLM-Deficit 데이터셋을 구축하여 LLM 기반 위험 추론 및 운동 계획 미세 조정에 활용하였습니다. CARLA 시뮬레이터를 이용한 실험 결과, LLM-RCO를 적용한 시스템이 인지 결손 상황에서 주행 성능을 크게 향상시키는 것을 보여주며, 특히 보수적인 정지 대신 더욱 적극적인 움직임을 가능하게 함을 확인하였습니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 자율주행 자동차의 인지 결손 문제를 효과적으로 해결할 수 있는 새로운 프레임워크를 제시.
◦
인지 결손 상황에서 더욱 안전하고 효율적인 주행을 가능하게 함으로써 자율주행 기술의 안전성 및 신뢰성 향상에 기여.
◦
DriveLM-Deficit 데이터셋 구축을 통해 향후 관련 연구의 발전에 기여.
◦
LLM 기반 시스템이 단순한 정지 대신 더욱 적극적이고 상황 인지적인 주행을 가능하게 함을 입증.
•
한계점:
◦
현재는 CARLA 시뮬레이터 기반 실험 결과이며, 실제 도로 환경에서의 성능 검증이 필요.
◦
LLM의 성능에 의존적이며, LLM의 한계가 시스템 성능에 영향을 미칠 수 있음.
◦
DriveLM-Deficit 데이터셋의 다양성 및 일반화 가능성에 대한 추가적인 연구가 필요.
◦
예측하지 못한 상황이나 극단적인 상황에 대한 대처 능력에 대한 추가적인 연구가 필요.
