본 논문은 강화학습(RL)을 이용한 엔드-투-엔드 자율주행 에이전트 훈련의 어려움을 다룹니다. 기존 RL 에이전트는 시뮬레이션 내 고정된 시나리오와 주변 도로 사용자의 일반적인 행동으로 훈련되어 일반화 및 실제 배포에 제한이 있습니다. 도메인 랜덤화는 잠재적인 해결책이지만, 훈련 시나리오 간의 높은 분산으로 비효율적인 훈련과 최적이 아닌 정책을 초래합니다. 이러한 한계를 해결하기 위해, 에이전트의 진화하는 능력에 따라 복잡성이 동적으로 변하는 주행 시나리오를 자동으로 생성하는 자동 커리큘럼 학습 프레임워크를 제안합니다. 전문가의 편향을 도입하고 확장성이 부족한 수동으로 설계된 커리큘럼과 달리, 본 프레임워크는 에이전트의 현재 정책에서 파생된 에이전트 중심 지표인 학습 잠재력을 기반으로 주행 시나리오를 자동으로 생성하고 변형하는 "교사"를 통합하여 전문가 설계가 필요 없도록 합니다. 이 프레임워크는 에이전트가 이미 숙달하거나 너무 어려워하는 시나리오를 제외함으로써 훈련 효율성을 높입니다. 카메라 이미지에서 주행 정책을 학습하는 강화 학습 환경에서 프레임워크를 평가했습니다. 고정 시나리오 훈련 및 도메인 랜덤화를 포함한 기준 방법과 비교한 결과, 제안된 접근 방식은 일반화를 향상시켜 성공률을 높이고(저밀도 교통량에서 +9%, 고밀도 교통량에서 +21%), 더 적은 훈련 단계로 더 빠른 수렴을 달성함을 보여줍니다. 본 연구 결과는 ACL이 RL 기반 자율 주행 에이전트의 강건성과 효율성을 향상시키는 잠재력을 강조합니다.
