Rainbow Delay Compensation: A Multi-Agent Reinforcement Learning Framework for Mitigating Delayed Observation
Created by
Haebom
저자
Songchen Fu, Siang Chen, Shaojing Zhao, Letian Bai, Ta Li, Yonghong Yan
개요
본 논문은 실세계 다중 에이전트 시스템(MASs)에서 흔히 발생하는 관측 지연 문제를 다룬다. 각 에이전트는 다른 에이전트나 환경 내 동적 개체로부터 여러 구성 요소로 이루어진 지연된 관측값을 받는데, 이러한 가변적인 지연 특성을 가진 이산적인 관측값은 다중 에이전트 강화 학습(MARL)에 큰 어려움을 야기한다. 본 논문에서는 표준 Dec-POMDP를 확장하여 분산형 확률적 개별 지연 부분 관측 마르코프 의사결정 과정(DSID-POMDP)을 정의하고, 확률적 개별 지연 문제를 해결하기 위한 MARL 학습 프레임워크인 Rainbow Delay Compensation (RDC)를 제안한다. MPE와 SMAC과 같은 표준 MARL 벤치마크를 사용하여 DSID-POMDP의 관측 생성 패턴을 구현하고, 실험을 통해 기존 MARL 방법들이 고정 및 비고정 지연 하에서 심각한 성능 저하를 겪는다는 것을 보여준다. RDC를 적용한 방법은 이러한 문제를 완화하여 특정 지연 시나리오에서는 지연 없는 이상적인 성능을 달성하고 일반화 성능도 유지한다. 본 연구는 다중 에이전트 지연 관측 문제에 대한 새로운 관점을 제공하고 효과적인 해결책을 제시한다. 소스 코드는 https://anonymous.4open.science/r/RDC-pymarl-4512/ 에서 확인 가능하다.
시사점, 한계점
•
시사점:
◦
다중 에이전트 시스템에서의 관측 지연 문제에 대한 새로운 해결책(RDC) 제시
◦
DSID-POMDP 프레임워크를 통해 지연 문제를 체계적으로 모델링
◦
실험을 통해 RDC의 효과성 및 일반화 성능 검증
◦
다양한 지연 시나리오에서 우수한 성능 달성
•
한계점:
◦
제안된 방법의 성능이 특정 지연 시나리오에 의존적일 수 있음 (일반화 성능은 우수하지만, 모든 상황에서 최적은 아닐 수 있음)
