본 논문은 자율 주행에서의 특권 계획(privileged planning)을 위한 강화 학습(RL)을 연구합니다. 기존의 접근 방식은 규칙 기반이지만 확장성이 떨어집니다. 반면 RL은 확장성이 뛰어나고 모방 학습과 같은 누적 오류의 문제가 없습니다. 기존의 자율 주행 RL 접근 방식은 진행 상황, 위치, 방향 등 여러 개별 보상을 합산하는 복잡한 보상 함수를 사용합니다. 본 논문은 미니 배치 크기가 증가하면 PPO가 이러한 보상 함수를 최적화하지 못함을 보이고, 이는 확장성을 제한한다는 것을 밝힙니다. 따라서 본 논문은 경로 완료라는 단일 직관적 보상 항목을 최적화하는 새로운 보상 설계를 제안합니다. 위반 사항은 에피소드를 종료하거나 경로 완료를 곱셈적으로 감소시켜 처벌합니다. 제안된 단순한 보상으로 훈련된 PPO는 더 큰 미니 배치 크기에서도 잘 확장되며 성능이 향상됨을 확인했습니다. 큰 미니 배치 크기를 사용한 훈련은 분산 데이터 병렬 처리를 통해 효율적인 확장을 가능하게 합니다. CARLA에서는 3억 개의 샘플, nuPlan에서는 5억 개의 샘플을 단일 8-GPU 노드로 확장했습니다. 결과 모델은 CARLA longest6 v2 벤치마크에서 64 DS를 달성하여 더 복잡한 보상을 사용하는 다른 RL 방법보다 훨씬 우수한 성능을 보였습니다. CARLA에서 사용되는 방법을 최소한으로 수정하여 nuPlan에서도 최고의 학습 기반 접근 방식을 달성했습니다. Val14 벤치마크에서 비반응형 교통량 91.3점, 반응형 교통량 90.6점을 기록했으며, 이전 연구보다 10배 빠릅니다.
