본 논문은 희소 보상 환경에서 다중 에이전트 시스템(MAS)의 강화 학습 문제를 해결하기 위해 새로운 커리큘럼 학습 프레임워크인 CCL(Collaborative Multi-dimensional Course Learning)을 제안합니다. CCL은 개별 에이전트를 위한 중간 과제를 개선하고, 변이 진화 알고리즘을 사용하여 유익한 하위 과제를 생성하며, 에이전트와 환경을 공동 진화시켜 학습 안정성을 향상시키는 세 가지 주요 전략을 활용합니다. MPE와 숨바꼭질 환경에서의 5가지 협력 과제에 대한 실험 결과, CCL이 희소 보상 설정에서 기존 방법보다 우수한 성능을 보이는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
희소 보상 환경에서 다중 에이전트 강화 학습의 성능 향상에 기여하는 새로운 커리큘럼 학습 프레임워크를 제시.
◦
변이 진화 알고리즘을 활용하여 효과적으로 하위 과제를 생성하고, 에이전트와 환경의 공동 진화를 통해 학습 안정성을 확보.
◦
MPE와 숨바꼭질과 같은 다양한 협력 과제에서 기존 방법보다 우수한 성능을 검증.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요. 다양한 환경과 과제에 대한 실험 결과가 더 필요함.
◦
변이 진화 알고리즘의 계산 비용이 높을 수 있음. 효율성 개선에 대한 연구가 필요함.
◦
특정 환경에 최적화된 하이퍼파라미터 설정이 필요할 수 있으며, 이에 대한 체계적인 분석이 부족함.
