Fully-Decentralized MADDPG with Networked Agents
Created by
- Haebom
Category
Empty
저자
Diego Bolliger, Lorenz Zauter, Robert Ziegler
개요
본 논문은 협력적, 적대적, 혼합 환경에서 연속 행동 공간을 갖는 다중 에이전트 강화 학습을 위한 분산 학습을 갖는 세 가지 actor-critic 알고리즘을 제시합니다. 이를 위해, 에이전트 간 네트워크 통신 접근 방식을 적용하여 MADDPG 알고리즘을 수정합니다. 학습 중 지역적 통신을 허용하면서 동시에 학습을 분산하기 위해 대리 정책(surrogate policies)을 도입합니다. 실험 결과, 제시된 분산 알고리즘은 원래 MADDPG와 비슷한 결과를 달성하면서 계산 비용을 줄였으며, 특히 에이전트 수가 많을수록 효과가 더욱 두드러집니다.
시사점, 한계점
•
시사점:
◦
다중 에이전트 강화 학습에서 분산 학습을 통해 계산 비용을 효과적으로 절감할 수 있음을 보여줌.
◦
에이전트 수가 증가함에 따라 분산 학습의 효율성이 더욱 향상됨을 확인.
◦
MADDPG 알고리즘을 개선하여 다양한 환경에서 적용 가능성을 높임.
◦
대리 정책을 이용한 분산 학습 방법의 효용성을 제시.
•
한계점:
◦
제시된 알고리즘의 성능이 MADDPG와 비슷한 수준이라는 점은 한계로 볼 수 있음. 더욱 향상된 성능을 보이는 알고리즘 개발이 필요함.
◦
다양한 환경 및 에이전트 수에 대한 광범위한 실험이 필요.
◦
대리 정책의 설계 및 파라미터 조정에 대한 자세한 분석 부족.
◦
네트워크 통신 방식에 대한 세부적인 설명 부족.
