본 논문은 분산 시스템에서 개별 로봇 행동의 질을 더 정확하게 반영하기 위해 지역 정보를 활용하는 새로운 협력적 다중 에이전트 강화 학습 방법인 Loc-FACMAC(Locality based Factorized Multi-Agent Actor-Critic)을 제시합니다. 기존 FACMAC과 같은 최첨단 알고리즘은 전역 보상 정보에 의존하지만, 이는 분산 시스템에서 개별 로봇 행동의 질을 정확하게 반영하지 못할 수 있습니다. Loc-FACMAC은 강하게 연관된 로봇들이 훈련 중에 파티션을 형성하는 지역적 개념을 비평가 학습에 통합합니다. 같은 파티션 내 로봇들은 서로에게 더 큰 영향을 미쳐 더 정확한 정책 평가를 가능하게 합니다. 또한 로봇 간의 관계를 포착하는 의존성 그래프를 구성하여 파티션 과정을 용이하게 합니다. 이러한 접근 방식은 차원의 저주를 완화하고 로봇이 무관한 정보를 사용하는 것을 방지합니다. 본 논문은 Hallway, Multi-cartpole, Bounded-Cooperative-Navigation 세 가지 환경에서 Loc-FACMAC의 성능을 평가하고, 파티션 크기의 영향을 조사하며, LOMAQ, FACMAC, QMIX와 같은 기준 MARL 알고리즘과 비교합니다. 실험 결과, 지역 구조가 적절히 정의될 경우 Loc-FACMAC이 기준 알고리즘보다 최대 108%까지 성능이 향상됨을 보여주며, 행위자-비평가 프레임워크에서 지역 구조를 활용하면 MARL 성능이 향상됨을 시사합니다.
