K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation

Created by

Haebom

저자

Mingxuan Mu, Guo Yang, Lei Chen, Ping Wu, Jianxun Cui

💡 개요

본 논문은 자율 주행 시뮬레이션에서 사실적이고 다양한 궤적 생성의 어려움을 해결하기 위해 K-Gen이라는 해석 가능한 키포인트 기반 다중 모달 프레임워크를 제안한다. K-Gen은 BEV 지도 이미지와 텍스트 설명을 통합하기 위해 다중 모달 대규모 언어 모델(MLLM)을 활용하며, 직접적인 궤적 예측 대신 에이전트의 의도를 반영하는 해석 가능한 키포인트와 추론을 생성한다. 이후 보강 모듈을 통해 이러한 키포인트를 정제하여 정확한 궤적을 생성하며, T-DAPO라는 궤적 인식 강화 학습 알고리즘을 적용하여 성능을 향상시킨다.

🔑 시사점 및 한계

•

기존 텍스트 기반 궤적 생성 방식이 시각적 맥락을 제대로 포착하지 못하는 한계를 다중 모달 접근 방식으로 극복하여, BEV 지도와 텍스트 설명을 통합함으로써 더 풍부한 장면 이해를 바탕으로 궤적을 생성할 수 있다.

•

직접적인 궤적 예측 대신 해석 가능한 키포인트와 추론을 생성하는 방식은 에이전트의 의도를 이해하고 궤적 생성 과정을 투명하게 만들며, 이를 통해 생성된 궤적의 신뢰성을 높일 수 있다.

•

WOMD 및 nuPlan 데이터셋에서의 실험 결과는 제안된 K-Gen이 기존 방법론 대비 우수한 성능을 보여주며, 다중 모달 추론과 키포인트 기반 궤적 생성의 효과적인 결합을 입증한다.

•

향후 연구에서는 다양한 환경과 복잡한 주행 시나리오에 대한 K-Gen의 일반화 성능을 평가하고, 생성된 키포인트 및 추론의 해석 가능성을 더욱 심화시키는 방안을 모색할 필요가 있다.

PDF 보기

Made with Slashpage