ReasonPlan은 자율 주행을 위한 새로운 다중 모달 대규모 언어 모델(MLLM) 미세 조정 프레임워크입니다. 자기 지도 학습 기반의 다음 장면 예측 과제와 지도 학습 기반의 의사 결정 체인-오브-토크 과정을 통해 전체적인 추론을 수행하도록 설계되었습니다. 이러한 이중 메커니즘은 시각적 표현을 실행 가능한 주행 상황과 정렬하고, 해석 가능하고 인과적으로 근거한 의사 결정을 촉진합니다. 21만 개의 다양하고 고품질 샘플로 구성된 계획 중심 의사 결정 추론 데이터셋(PDR)을 활용하여 Bench2Drive 벤치마크에서 기존 E2E 모방 학습 방법보다 19% L2 및 16.1% 운전 점수 향상을 달성했습니다. 또한, ReasonPlan은 DOS 벤치마크에서 강력한 제로샷 일반화 성능을 보여주며, 제로샷 엣지 케이스 처리에 대한 적응력을 강조합니다. 코드와 데이터셋은 https://github.com/Liuxueyi/ReasonPlan 에서 확인할 수 있습니다.
