본 논문은 다중 에이전트 강화 학습(MARL) 과제의 난이도를 제어하기 위한 커리큘럼 변수로 에이전트 수를 사용하는 방법을 제안합니다. 기존의 수동 커리큘럼 방식(예: 선형 계획)의 한계를 지적하며, 기존의 보상 기반 자동 커리큘럼 학습 방법의 두 가지 문제점, 즉 (1) 에피소드 수익의 높은 분산과 (2) 에이전트 수 증가에 따라 수익이 증가하는 과제에서의 신용 할당 난이도 증가를 제시합니다. 이를 해결하기 위해, TD 오차 기반의 학습 진행도 측정과 초기 상황 분포에서 최종 과제 특정 분포로의 커리큘럼 진행을 제안합니다. 에이전트 수에 대한 분포를 유지하고 절대 성능이 아닌 학습 진행도를 측정함으로써, 에이전트 수 증가에 따른 수익 증가 문제를 완화합니다. 또한, 학습 진행도 측정을 통해 에피소드 수익의 높은 분산 문제도 해결합니다. 세 가지 어려운 희소 보상 MARL 벤치마크에서 제안된 방법이 최첨단 기준 모델들을 능가하는 성능을 보였습니다.
