본 논문은 강화학습 기반 자율주행 정책 학습의 낮은 샘플 효율성과 일반화 성능 저하 문제를 해결하기 위해, 비전-언어 모델(VLM)을 안전 지침으로 활용하는 세계 모델 기반 안전 강화학습 프레임워크인 VL-SAFE를 제안합니다. VL-SAFE는 전문가 에이전트에 의해 수집되고 VLM으로부터 안전 점수가 부여된 오프라인 데이터셋을 사용합니다. 세계 모델은 상상된 시뮬레이션과 안전성 평가를 생성하여 실제 환경과의 상호작용 없이 안전한 계획을 수립할 수 있도록 합니다. 상상된 궤적과 안전성 평가를 바탕으로 VLM 기반 안전 지침 하에 actor-critic 학습을 수행하여 자율주행 정책을 더욱 안전하고 효율적으로 최적화합니다. 실험 결과, VL-SAFE는 기존 방법들보다 샘플 효율성, 일반화 성능, 안전성 및 전반적인 성능이 우수함을 보여줍니다. 이는 VLM을 안전 지침으로 활용하는 세계 모델 기반의 자율주행 안전 학습에 대한 최초의 연구입니다.
