# CCL: Collaborative Curriculum Learning for Sparse-Reward Multi-Agent Reinforcement Learning via Co-evolutionary Task Evolution

### 저자

Yufei Lin, Chengwei Ye, Huanzhen Zhang, Kangsheng Wang, Linuo Xu, Shuyan Liu, Zeyu Zhang

### 개요

본 논문은 희소 보상 환경에서 다중 에이전트 시스템(MAS)의 강화 학습 문제를 해결하기 위해 새로운 커리큘럼 학습 프레임워크인 CCL(Collaborative Multi-dimensional Course Learning)을 제안합니다. CCL은 개별 에이전트를 위한 중간 과제를 개선하고, 변이 진화 알고리즘을 사용하여 유익한 하위 과제를 생성하며, 에이전트와 환경을 공동 진화시켜 학습 안정성을 향상시키는 세 가지 주요 전략을 활용합니다. MPE와 숨바꼭질 환경에서의 5가지 협력 과제에 대한 실험 결과, CCL이 희소 보상 설정에서 기존 방법보다 우수한 성능을 보이는 것으로 나타났습니다.

### 시사점, 한계점

- **시사점:**

    - 희소 보상 환경에서 다중 에이전트 강화 학습의 성능 향상에 기여하는 새로운 커리큘럼 학습 프레임워크를 제시.

    - 변이 진화 알고리즘을 활용하여 효과적으로 하위 과제를 생성하고, 에이전트와 환경의 공동 진화를 통해 학습 안정성을 확보.

    - MPE와 숨바꼭질과 같은 다양한 협력 과제에서 기존 방법보다 우수한 성능을 검증.

- **한계점:**

    - 제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.  다양한 환경과 과제에 대한 실험 결과가 더 필요함.

    - 변이 진화 알고리즘의 계산 비용이 높을 수 있음.  효율성 개선에 대한 연구가 필요함.

    - 특정 환경에 최적화된 하이퍼파라미터 설정이 필요할 수 있으며, 이에 대한 체계적인 분석이 부족함.

[PDF 보기](https://arxiv.org/pdf/2505.07854)

![https://i.imgur.com/toc0jSV.jpeg](https://i.imgur.com/toc0jSV.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).