본 논문은 강화학습(RL)을 이용한 엔드-투-엔드 자율주행 에이전트 훈련의 어려움을 다룹니다. 기존 RL 에이전트는 시뮬레이션 내 고정된 시나리오와 주변 도로 사용자의 표준 행동으로 훈련되어 일반화 및 실제 배포에 제한이 있습니다. 도메인 랜덤화는 잠재적인 해결책이지만, 훈련 시나리오 간의 높은 분산으로 비효율적인 훈련과 최적이 아닌 정책으로 이어질 수 있습니다. 이러한 한계를 해결하기 위해, 에이전트의 발전하는 능력에 따라 적응적으로 복잡성이 변하는 주행 시나리오를 동적으로 생성하는 자동 커리큘럼 학습 프레임워크를 제안합니다. 전문가의 편향을 도입하고 확장성이 부족한 수동으로 설계된 커리큘럼과 달리, 본 프레임워크는 에이전트의 현재 정책에서 파생된 에이전트 중심 지표인 학습 잠재력에 따라 주행 시나리오를 자동으로 생성하고 변이시키는 "교사"를 통합하여 전문가 설계가 필요하지 않습니다. 본 프레임워크는 에이전트가 이미 숙달했거나 너무 어려워하는 시나리오를 제외하여 훈련 효율성을 높입니다. 카메라 이미지에서 주행 정책을 학습하는 강화 학습 환경에서 프레임워크를 평가했습니다. 고정 시나리오 훈련 및 도메인 랜덤화를 포함한 기준 방법과 비교한 결과, 제안된 접근 방식이 일반화를 향상시켜 성공률을 높이고(저밀도 교통에서 +9%, 고밀도 교통에서 +21%), 더 적은 훈련 단계로 더 빠른 수렴을 달성함을 보여줍니다. 결과는 ACL이 RL 기반 자율 주행 에이전트의 강력함과 효율성을 향상시킬 수 있는 잠재력을 강조합니다.
