Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning

작성자

Haebom

카테고리

Empty

저자

Wei Duan, Junyu Xuan, En Yu, Xiaoyu Yang, Jie Lu

💡 개요

본 논문은 협동 멀티에이전트 강화학습(MARL)에서 기존 조정 그래프 학습 방법론이 가진 이론적 근거 부족과 정보 용량 할당의 비원칙적인 문제를 해결하고자 합니다. 이를 위해 에지 존재 여부와 메시지 용량 모두 이론적으로 정당화되는 그룹 인식 희소 그래프를 학습하는 Heterogeneous Information-Bottleneck Coordination Graphs (HIBCG)를 제안합니다. HIBCG는 그룹 정렬 블록 대각 우선순위를 사용하여 에지 유지에 대한 폐쇄형 기준을 제공하고, 이를 바탕으로 에이전트별 특징 대역폭을 제어하여 작업 관련 정보만을 압축하여 전달합니다.

🔑 시사점 및 한계

•

그룹 정렬 우선순위를 통해 에지 존재 여부 및 밀도를 이론적으로 결정할 수 있는 새로운 기준을 제시합니다.

•

에이전트 간 관계의 구조적 차이에 따라 메시지 용량을 차별적으로 할당할 수 있는 원칙적인 방법을 제공합니다.

•

제안된 방법론은 그룹 블록별로 목적 함수를 분해하고, 용량 할당에 물 채우기 원리를 적용하여 효율성을 높입니다.

•

현재는 그룹 정렬 블록 대각 우선순위에 기반하고 있어, 더 복잡하거나 비구조적인 그룹 관계 학습에는 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage