Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?
Created by
Haebom
저자
Yihe Zhou, Shunyu Liu, Yunpeng Qing, Kaixuan Chen, Tongya Zheng, Jie Song, Mingli Song
개요
본 논문은 중앙 집중식 훈련과 분산 실행(CTDE) 프레임워크를 사용하는 다중 에이전트 강화 학습(MARL)에서 에이전트 정책의 독립성 가정으로 인해 글로벌 협력 정보 활용이 제한되는 문제점을 지적합니다. 기존 CTDE 방식의 비효율적인 공동 정책 탐색 및 최적이 아닌 결과를 해결하기 위해, 중앙 집중식 자문과 분산 가지치기(CADP) 프레임워크를 제안합니다. CADP는 에이전트 간 명시적인 통신 채널을 통해 중앙 집중식 훈련을 개선하고, 부드러운 모델 가지치기 메커니즘을 통해 분산 실행을 보장하며 에이전트 협력 능력 저하 없이 통신을 제한합니다. StarCraft II 마이크로 매니지먼트 및 Google Research Football 벤치마크에서 기존 최고 성능 모델보다 우수한 성능을 보였으며, 코드 공개를 예고합니다.
시사점, 한계점
•
시사점:
◦
에이전트 간 명시적 통신 채널을 통해 더욱 효과적인 중앙 집중식 훈련 가능.
◦
부드러운 모델 가지치기 메커니즘으로 분산 실행 보장 및 에이전트 협력 능력 유지.
◦
StarCraft II 및 Google Research Football 벤치마크에서 SOTA 성능 달성.
