Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

HyperMARL: Adaptive Hypernetworks for Multi-Agent RL

Created by
  • Haebom

저자

Kale-ab Abebe Tessera, Arrasy Rahman, Amos Storkey, Stefano V. Albrecht

개요

본 논문은 협력적 다중 에이전트 강화 학습(MARL)에서 특수화되거나 균질한 행동에 대한 적응성이 중요함을 강조한다. 효율적인 적응을 위한 일반적인 파라미터 공유(PS) 기법은 에이전트 간 기울기 간섭으로 인해 행동 다양성을 제한하는데, 이는 관찰과 에이전트 ID의 결합으로 악화될 수 있음을 보여준다. 기존의 해결책은 목표 변경, 수동 사전 설정 다양성 수준 또는 순차적 업데이트를 통해 복잡성을 추가한다. 본 논문은 복잡성 없이 공유 정책이 적응할 수 있는지 질문하고, RL 목표를 변경하거나 사전 설정된 다양성 수준을 필요로 하지 않고, 하이퍼네트워크를 사용하여 동적인 에이전트별 파라미터를 위한 PS 접근 방식인 HyperMARL을 제안한다. HyperMARL은 관찰 및 에이전트 조건부 기울기를 명시적으로 분리하여 경험적으로 정책 기울기 분산을 줄이고, 공유 정책 적응(전문화 포함)을 용이하게 하며, 에이전트 간 간섭을 완화하는 데 도움이 된다. 다양한 MARL 벤치마크(최대 20개 에이전트)에서 균질, 이질 또는 혼합된 행동을 필요로 하는 HyperMARL은 주요 기준(완전히 공유, 비파라미터 공유 및 세 가지 다양성 촉진 방법)에 대해 경쟁력 있는 성능을 달성하면서 비파라미터 공유와 비교할 만한 행동 다양성을 유지한다. 이러한 결과는 HyperMARL을 적응형 MARL을 위한 다목적 접근 방식으로 확립한다. 코드는 https://github.com/KaleabTessera/HyperMARL 에서 공개적으로 이용 가능하다.

시사점, 한계점

•
시사점:
◦
하이퍼네트워크를 이용한 파라미터 공유 기법인 HyperMARL 제안을 통해 RL 목표 변경이나 사전 설정된 다양성 수준 없이 효율적인 다중 에이전트 적응 가능.
◦
관찰과 에이전트 ID의 결합으로 인한 기울기 간섭 문제 완화.
◦
다양한 MARL 벤치마크에서 기존 방법들에 비해 경쟁력 있는 성능과 행동 다양성 확보.
◦
공개된 코드를 통해 재현성 및 확장성 확보.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 실험 필요.
◦
더욱 복잡한 환경이나 더 많은 에이전트에 대한 성능 평가 필요.
◦
하이퍼네트워크의 계산 비용 및 학습 안정성에 대한 추가적인 분석 필요.
👍
Made with Slashpage