본 논문은 자율주행 시스템의 성능 평가를 위한 새로운 World Model인 EOT-WM을 제안합니다. 기존 World Model은 자차 주행 경로에 치중하고 다른 차량의 움직임을 제대로 반영하지 못하는 한계를 가지고 있는데, EOT-WM은 자차 및 타차 경로를 통합하여 비디오 생성 과정에 반영함으로써 자율주행 시스템과 주행 환경 간의 상호작용을 더욱 현실적으로 시뮬레이션합니다. 이는 BEV 공간의 경로를 이미지 좌표로 투영하여 비디오 내 각 차량과 매칭하고, Spatial-Temporal Variational Auto Encoder를 이용하여 주행 비디오와 경로 비디오를 통합된 시각 공간에서 정렬하는 방식으로 이루어집니다. 마지막으로, 경로 정보를 주입한 diffusion Transformer를 사용하여 노이즈가 있는 비디오 latent를 복원하고 비디오를 생성합니다. 또한, 경로 제어 가능성을 평가하기 위한 새로운 지표를 제시합니다. nuScenes 데이터셋을 이용한 실험 결과, EOT-WM은 기존 최고 성능 모델보다 FID 지표에서 30%, FVD 지표에서 55% 향상된 성능을 보였으며, 자체 생성한 경로를 이용하여 미지의 주행 장면도 예측할 수 있음을 보였습니다.
