TIGER-MARL: Enhancing Multi-Agent Reinforcement Learning with Temporal Information through Graph-based Embeddings and Representations
Created by
Haebom
Category
Empty
저자
Nikunj Gupta, Ludwika Twardecka, James Zachary Hare, Jesse Milzman, Rajgopal Kannan, Viktor Prasanna
개요
본 논문은 다중 에이전트 강화 학습(MARL)의 성능 향상을 위해 'TIGER'(Temporal Information through Graph-based Embeddings and Representations)를 제안한다. TIGER는 에이전트 간의 협력 구조가 시간의 흐름에 따라 어떻게 진화하는지를 명시적으로 모델링한다. 기존 MARL 접근 방식들이 정적 또는 매 단계별 관계 그래프에 의존하는 것과 달리, TIGER는 에이전트의 적응, 이동 또는 협력 전략 재구성에 따라 발생하는 상호작용의 시간적 진화를 포착한다. TIGER는 동적 시간 그래프를 구축하여 현재와 과거의 상호작용을 연결하고, 시간적 주의 기반 인코더를 사용하여 이러한 구조적 및 시간적 이웃에서 정보를 통합하여 협력적 정책 학습을 유도하는 시간 인식 에이전트 임베딩을 생성한다.
시사점, 한계점
•
TIGER는 다중 에이전트 강화 학습에서 에이전트 간의 시간적 상호작용을 포착하여 성능을 향상시키는 새로운 접근 방식을 제시한다.
•
동적 시간 그래프와 시간적 주의 기반 인코더를 활용하여 시간 의존적인 협력 구조를 효과적으로 모델링한다.
•
다양한 MARL 벤치마크에서 기존 방법론 대비 우수한 성능과 샘플 효율성을 입증했다.
•
주요 설계 매개변수의 영향을 분석하여 구조적 및 시간적 요인이 정책 학습에 미치는 영향을 파악했다.
•
연구의 범위는 두 개의 벤치마크 환경으로 제한되어 있어, 다른 환경에서의 일반화 성능에 대한 추가적인 연구가 필요하다.
•
TIGER의 복잡성으로 인해 계산 비용이 높을 수 있으며, 대규모 에이전트 시스템에 적용하기 어려울 수 있다.
