Other Vehicle Trajectories Are Also Needed: A Driving World Model Unifies Ego-Other Vehicle Trajectories in Video Latent Space
Created by
Haebom
Category
Empty
저자
Jian Zhu, Zhengyu Jia, Tian Gao, Jiaxin Deng, Shidi Li, Lang Zhang, Fu Liu, Peng Jia, Xianpeng Lang
개요
EOT-WM은 자율 주행 시뮬레이션을 위해 Ego-Other 차량 궤적을 통합하는 Driving World Model을 제안한다. 기존의 월드 모델이 자율 주행 차량의 궤적에만 집중하여 다른 차량을 제어할 수 없는 한계를 해결하고자, BEV 공간의 궤적을 이미지 좌표로 투영하여 차량-궤적 매칭을 수행하고, Spatial-Temporal Variational Auto Encoder를 사용하여 궤적 비디오를 인코딩한다. 궤적 주입 확산 변환기를 통해 잡음이 있는 비디오 잠재 변수를 제거하여 비디오를 생성하며, 궤적의 제어 가능성을 평가하기 위한 지표를 제시한다. nuScenes 데이터셋에서 기존 방법보다 FID에서 30%, FVD에서 55% 더 높은 성능을 보였으며, 자체 생성된 궤적으로 보이지 않는 주행 장면을 예측할 수 있다.
시사점, 한계점
•
시사점:
◦
Ego-Other 차량 궤적을 통합하여 현실적인 자율 주행 시뮬레이션 가능성 제시.
◦
BEV 공간의 궤적을 이미지 좌표로 투영하는 새로운 차량-궤적 매칭 방식 제안.
◦
궤적 주입 확산 변환기를 활용한 비디오 생성 기술 개발.
◦
궤적 제어 가능성 평가를 위한 새로운 지표 제시.
◦
nuScenes 데이터셋에서 SOTA 달성 및 unseen driving scene 예측 능력 입증.
•
한계점:
◦
구체적인 한계점은 논문 내용에서 명시되지 않음. (논문 요약본에서는 한계점을 파악하기 어려움)
