본 논문은 분산 시스템에서 개별 로봇 행동의 질을 정확하게 반영하지 못하는 기존 FACMAC과 같은 최첨단 다중 에이전트 강화 학습 알고리즘의 한계를 극복하기 위해, 지역성 기반 계층화 다중 에이전트 액터-크리틱(Loc-FACMAC)이라는 새로운 협력적 다중 에이전트 강화 학습 방법을 제시합니다. Loc-FACMAC은 크리틱 학습에 지역성 개념을 통합하여, 강하게 관련된 로봇들이 훈련 중에 파티션을 형성하도록 합니다. 같은 파티션 내 로봇들은 서로에게 더 큰 영향을 미쳐 정확한 정책 평가를 가능하게 합니다. 또한 로봇 간의 관계를 포착하는 의존성 그래프를 구성하여 파티션 과정을 용이하게 합니다. 이를 통해 차원의 저주를 완화하고 로봇이 무관한 정보를 사용하는 것을 방지합니다. Hallway, Multi-cartpole, Bounded-Cooperative-Navigation 세 가지 환경에서 Loc-FACMAC의 성능을 평가하고, 파티션 크기의 영향을 조사하며 LOMAQ, FACMAC, QMIX 등 기준 MARL 알고리즘과 비교합니다. 실험 결과, 지역 구조가 적절히 정의되면 Loc-FACMAC이 기준 알고리즘보다 최대 108%까지 성능이 향상됨을 보여주어, 액터-크리틱 프레임워크에서 지역 구조를 활용하면 MARL 성능이 향상됨을 시사합니다.
