Found-RL: foundation model-enhanced reinforcement learning for autonomous driving

Created by

Haebom

저자

Yansong Qu, Zihao Sheng, Zilin Huang, Jiancong Chen, Yuhao Luo, Tianyi Wang, Yiheng Feng, Samuel Labi, Sikai Chen

💡 개요

본 논문은 자율 주행 분야에서 강화학습(RL)의 샘플 비효율성과 복잡한 시나리오에서의 해석력 부족 문제를 해결하기 위해 비전-언어 모델(VLM)과 같은 파운데이션 모델을 활용하는 Found-RL을 제안한다. Found-RL은 비동기 배치 추론 프레임워크를 통해 VLM의 높은 추론 지연 시간을 완화하고, 다양한 감독 기법(VMR, AWAG)과 CLIP 기반 보상 성형을 통해 VLM의 지식을 RL 정책에 효과적으로 통합한다. 이를 통해 경량 RL 모델로도 거대 파운데이션 모델에 준하는 성능을 실시간으로 달성할 수 있음을 보인다.

🔑 시사점 및 한계

•

파운데이션 모델의 풍부한 지식을 강화학습의 샘플 효율성 및 해석력 부족 문제 해결에 효과적으로 활용할 수 있음을 입증함.

•

비동기 배치 추론 프레임워크를 통해 파운데이션 모델의 높은 추론 지연 시간을 극복하고 실시간 강화학습 훈련을 가능하게 함.

•

경량 RL 모델로도 거대 파운데이션 모델에 준하는 자율 주행 성능을 달성할 수 있음을 보여줌.

•

제안된 방법론의 일반화 가능성 및 다양한 파운데이션 모델과의 통합 가능성에 대한 추가 연구가 필요함.

PDF 보기

Made with Slashpage