Sign In

Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games

Created by
  • Haebom
Category
Empty

저자

Asrin Efe Yorulmaz, Tamer Ba\c{s}ar

개요

본 논문은 일반합 마르코프 게임에서 CCE (Coarse Correlated Equilibrium)로의 수렴 속도를 향상시키는 것을 목표로 한다. 기존의 최적 수렴 속도인 $\mathcal{O}(\log^5 T / T)$에서 $\mathcal{O}(\log T / T)$로 개선하였으며, 이는 CE (Correlated Equilibrium)의 최적 수렴 속도와 동일하다. 또한, 액션 집합 크기에 대한 의존성을 다항식에서 polylogarithmic으로 개선하여 고차원 설정에서 지수적 이점을 제공한다. 본 연구는 적응적 단계 크기 기법을 마르코프 환경에 적용하여 OFTRL (Optimistic Follow-the-Regularized-Leader)을 기반으로 하는 자기-플레이 알고리즘을 제안하며, 이를 통해 CCE로의 가장 빠른 수렴 속도를 달성한다.

시사점, 한계점

시사점:
일반합 마르코프 게임에서 CCE로의 수렴 속도 획기적인 개선 (기존 $\mathcal{O}(\log^5 T / T)$ → 새로운 $\mathcal{O}(\log T / T)$).
CE의 최적 수렴 속도와 동일한 수준의 성능 달성.
액션 집합 크기에 대한 의존성 감소 (Polynomial → Polylogarithmic).
OFTRL 기반의 자기-플레이 알고리즘을 활용하여 새로운 접근 방식 제시.
한계점:
구체적인 한계점은 논문에 명시되지 않음. (논문 요약에 한계점에 대한 직접적인 언급 부재)
👍