본 논문은 자율 주행을 위한 엔드-투-엔드 모션 플래닝 접근 방식에 대한 최신 연구를 다룹니다. 기존의 엔드-투-엔드 방식들은 중간 단계의 지각 및 예측 작업을 위한 사람의 주석에 의존하는 반면, 순수하게 자기 지도 학습 방식은 성능이 떨어지는 경향이 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해, 인기 있는 다중 모달 대규모 언어 모델인 PaLI를 기반으로 하여 시공간적 시각적 표현을 사용하는 확장 가능한 자기 지도 학습 모션 플래닝 알고리즘인 S4-Driver를 제안합니다. S4-Driver는 희소 볼륨 전략을 사용하여 MLLM의 강력한 시각적 표현을 원근 투영 보기에서 3D 공간으로 변환하며, 시각 인코더의 미세 조정 없이 다중 뷰 및 다중 프레임 시각 입력을 집계하여 3D 공간에서의 플래닝 경로 예측을 개선합니다. nuScenes 및 Waymo Open Motion Dataset에 대한 실험 결과, S4-Driver는 기존의 지도 학습 방식보다 우수한 성능을 보이며, 사람의 주석이 필요하지 않고, 대량의 비주석 주행 로그를 사용하여 사전 훈련 시 확장성이 뛰어남을 보여줍니다.
시사점, 한계점
•
시사점:
◦
MLLM의 시각적 표현을 3D 공간으로 효과적으로 변환하는 새로운 방법 제시.
◦
사람의 주석 없이도 우수한 성능을 달성하는 자기 지도 학습 기반 모션 플래닝 알고리즘 개발.
