RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning
Created by
- Haebom
Category
Empty
저자
Jiacheng Zuo, Haibo Hu, Zikang Zhou, Yufei Cui, Ziquan Liu, Jianping Wang, Nan Guan, Jin Wang, Chun Jason Xue
개요
자율 주행 시스템의 견고성 향상을 위해 실제 데이터셋으로 훈련된 모델은 극한 날씨와 같은 예외적인 상황에 직면했을 때 새로운 환경에 적응하는 데 어려움을 겪습니다. 실제 환경에서 이러한 예외적인 상황을 수집하는 것은 어렵기 때문에 검증을 위해 시뮬레이터를 사용해야 합니다. 그러나 높은 계산 비용과 데이터 분포의 도메인 간 차이로 인해 실제 및 시뮬레이션 주행 시나리오 간의 원활한 전환이 어려워졌습니다. 이러한 문제를 해결하기 위해 본 논문에서는 저렴한 비용으로 실제-시뮬레이션 간극을 해소하도록 설계된 새로운 프레임워크인 자율 주행을 위한 검색 증강 학습(RALAD)을 제안합니다. RALAD는 개별 및 그룹 이미지 거리를 모두 고려하는 향상된 최적 전송(OT) 방법을 통한 도메인 적응, 다양한 모델에 적용할 수 있는 단순하고 통합된 프레임워크, 계산 비용이 많이 드는 계층을 고정하면서 견고성을 유지하는 효율적인 미세 조정 기술의 세 가지 주요 설계를 특징으로 합니다. 실험 결과, RALAD는 세 가지 다른 모델에서 실제 시나리오의 정확도를 유지하면서 시뮬레이션 환경에서의 성능 저하를 보상함을 보여줍니다. Cross View를 예로 들면, 실제 시나리오에서 mIOU 및 mAP 지표는 RALAD 미세 조정 전후에 안정적으로 유지되는 반면, 시뮬레이션 환경에서는 mIOU 및 mAP 지표가 각각 10.30% 및 12.29% 향상됩니다. 또한, 본 연구의 재훈련 비용은 약 88.1% 감소되었습니다. 코드는 https://github.com/JiachengZuo/RALAD.git 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
향상된 최적 전송(OT) 방법을 이용한 효과적인 도메인 적응으로 실제-시뮬레이션 간극을 해소.
◦
다양한 모델에 적용 가능한 단순하고 통합된 프레임워크 제시.
◦
계산 비용이 높은 계층을 동결하여 효율적인 미세 조정을 통해 재훈련 비용 감소 (약 88.1%).
◦
시뮬레이션 환경에서 성능 향상 (mIOU 10.30%, mAP 12.29% 향상).
◦
실제 환경 성능 유지.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 유형의 시뮬레이터와 실제 데이터셋에 대한 추가적인 실험 필요.
◦
극한 상황(extreme weather conditions) 외 다른 corner cases에 대한 성능 검증 필요.
