본 논문은 종단간 자율주행에서 다중모드 대규모 언어 모델(MLLM)의 활용을 개선하기 위해 ReasonPlan이라는 새로운 미세조정 프레임워크를 제안합니다. ReasonPlan은 자기지도학습 기반 차기 장면 예측 태스크와 지도학습 기반 의사결정 체인-오브-토크 과정을 통해 전체적인 추론을 수행하도록 설계되었습니다. 이를 통해 시각적 표현과 실행 가능한 주행 맥락을 정렬하고, 해석 가능하며 인과적으로 근거한 의사결정을 장려합니다. 21만 개의 다양하고 고품질 샘플로 구성된 계획 지향적 의사결정 추론 데이터셋 PDR을 구축하여, Bench2Drive 벤치마크에서 기존 종단간 모방 학습 방법보다 L2 지표 19%, 주행 점수 16.1% 향상된 성능을 보였습니다. 또한, DOS 벤치마크에서 강력한 제로샷 일반화 성능을 보여 제로샷 상황에서의 적응성을 강조합니다. 코드와 데이터셋은 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
MLLM을 종단간 자율주행의 폐쇄 루프 시스템에 효과적으로 적용하는 새로운 프레임워크(ReasonPlan) 제시.
◦
자기지도학습과 지도학습을 결합하여 시각적 정보와 주행 의사결정의 연관성 향상 및 해석 가능성 증대.
