RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning
Created by
Haebom
저자
Jiacheng Zuo, Haibo Hu, Zikang Zhou, Yufei Cui, Ziquan Liu, Jianping Wang, Nan Guan, Jin Wang, Chun Jason Xue
개요
자율 주행 시스템의 견고성 향상을 위해 실제 데이터셋으로 훈련된 모델은 극한 기상 조건과 같은 예외적인 상황에 직면했을 때 새로운 환경에 적응하는 데 어려움을 겪습니다. 실제 환경에서 이러한 예외적인 상황을 수집하는 것은 어렵기 때문에 검증을 위해 시뮬레이터를 사용해야 합니다. 하지만 높은 계산 비용과 데이터 분포의 도메인 격차로 인해 실제 및 시뮬레이션 주행 시나리오 간의 원활한 전환이 어려웠습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 저렴한 비용으로 실제 환경과 시뮬레이션 환경 간의 격차를 해소하도록 설계된 새로운 프레임워크인 RALAD(Retrieval-Augmented Learning for Autonomous Driving)를 제안합니다. RALAD는 개별 및 그룹화된 이미지 거리를 모두 고려하는 향상된 최적 전송(OT) 방법을 통한 도메인 적응, 다양한 모델에 적용할 수 있는 단순하고 통합된 프레임워크, 계산 비용이 많이 드는 계층은 고정시키면서 견고성을 유지하는 효율적인 미세 조정 기술의 세 가지 주요 설계를 특징으로 합니다. 실험 결과는 RALAD가 세 가지 다른 모델에서 실제 시나리오의 정확도를 유지하면서 시뮬레이션 환경에서의 성능 저하를 보상함을 보여줍니다. Cross View를 예로 들면, 실제 시나리오에서 mIOU 및 mAP 지표는 RALAD 미세 조정 전후에 안정적으로 유지되는 반면, 시뮬레이션 환경에서는 mIOU 및 mAP 지표가 각각 10.30% 및 12.29% 향상됩니다. 또한, 본 접근 방식의 재훈련 비용은 약 88.1% 감소합니다. 코드는 https://github.com/JiachengZuo/RALAD.git 에서 확인할 수 있습니다.
