본 논문은 일반합 마르코프 게임에서 분산 학습 알고리즘의 점근적 특성을 연구합니다. 기존 연구들은 마르코프 제로섬 게임이나 잠재 게임과 같이 특수한 경우에만 분산 학습 알고리즘의 수렴 특성을 밝혔으나, 본 논문은 비동기적 단계 크기를 갖는 액터-크리틱 학습 동역학을 채택하는 분산 알고리즘을 분석하여 일반합 마르코프 게임으로 확장합니다. 각 에이전트는 다른 에이전트의 전략이나 보상에 대한 지식 없이 독립적으로 작동하며, 마르코프 준잠재 함수(MNPF)라는 개념을 도입하여 분산 학습 동역학에서 정책 업데이트에 대한 근사적 Lyapunov 함수 역할을 함을 보임으로써 수렴 전략 집합을 특징짓습니다. 특정 규칙성 조건과 유한한 내쉬 균형 하에서 결과를 더욱 강화합니다.
