Sign In

Multi-Agent Reinforcement Learning with Communication-Constrained Priors

Created by
  • Haebom
Category
Empty

저자

Guang Yang, Tianpei Yang, Jingwen Qiao, Yanqing Wu, Jing Huo, Xingguo Chen, Yang Gao

개요

다중 에이전트 시스템에서 협력 정책 학습을 개선하기 위한 효과적인 방법 중 하나는 통신이다. 하지만 실제 환경에서는 손실성 통신 문제가 발생한다. 기존의 통신을 이용한 다중 에이전트 강화 학습은 확장성과 견고성이 부족하여 복잡하고 동적인 환경에 적용하기 어려웠다. 이러한 문제를 해결하기 위해, 다양한 시나리오에서 통신 조건을 균일하게 특징짓는 일반화된 통신 제약 모델을 제안한다. 이를 학습 사전으로 사용하여 특정 시나리오에 따라 손실 및 무손실 메시지를 구분한다. 또한, 이중 상호 정보 추정기를 활용하여 손실 및 무손실 메시지가 분산 의사 결정에 미치는 영향을 분리하고, 통신 제약 다중 에이전트 강화 학습 프레임워크를 도입하여 통신 메시지가 전역 보상에 미치는 영향을 정량화한다. 마지막으로, 제안하는 접근 방식의 효과를 여러 통신 제약 벤치마크에서 검증한다.

시사점, 한계점

손실성 통신 문제를 해결하기 위한 일반화된 통신 제약 모델 제안
손실 및 무손실 메시지를 구분하고, 분산 의사 결정에 미치는 영향을 분리하는 기술 개발
통신 제약 다중 에이전트 강화 학습 프레임워크를 통해 통신 메시지의 영향을 정량화
여러 벤치마크를 통해 제안하는 방법의 효과 검증
구체적인 한계점은 논문 전문을 참조해야 함 (Abstract 만으로는 상세한 한계점을 파악하기 어려움)
👍