HyperMARL: Adaptive Hypernetworks for Multi-Agent RL
Created by
Haebom
저자
Kale-ab Abebe Tessera, Arrasy Rahman, Amos Storkey, Stefano V. Albrecht
개요
본 논문은 협력적 다중 에이전트 강화 학습(MARL)에서 특수화되거나 균질한 행동에 대한 적응성이 중요함을 강조한다. 효율적인 적응을 위한 일반적인 파라미터 공유(PS) 기법은 에이전트 간 기울기 간섭으로 인해 행동 다양성을 제한하는데, 이는 관찰과 에이전트 ID의 결합으로 악화될 수 있음을 보여준다. 기존의 해결책은 목표 변경, 수동 사전 설정 다양성 수준 또는 순차적 업데이트를 통해 복잡성을 추가한다. 본 논문은 복잡성 없이 공유 정책이 적응할 수 있는지 질문하고, RL 목표를 변경하거나 사전 설정된 다양성 수준을 필요로 하지 않고, 하이퍼네트워크를 사용하여 동적인 에이전트별 파라미터를 위한 PS 접근 방식인 HyperMARL을 제안한다. HyperMARL은 관찰 및 에이전트 조건부 기울기를 명시적으로 분리하여 경험적으로 정책 기울기 분산을 줄이고, 공유 정책 적응(전문화 포함)을 용이하게 하며, 에이전트 간 간섭을 완화하는 데 도움이 된다. 다양한 MARL 벤치마크(최대 20개 에이전트)에서 균질, 이질 또는 혼합된 행동을 필요로 하는 HyperMARL은 주요 기준(완전히 공유, 비파라미터 공유 및 세 가지 다양성 촉진 방법)에 대해 경쟁력 있는 성능을 달성하면서 비파라미터 공유와 비교할 만한 행동 다양성을 유지한다. 이러한 결과는 HyperMARL을 적응형 MARL을 위한 다목적 접근 방식으로 확립한다. 코드는 https://github.com/KaleabTessera/HyperMARL 에서 공개적으로 이용 가능하다.