Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Extending NGU to Multi-Agent RL: A Preliminary Study

Created by
  • Haebom
Category
Empty

저자

Juan Hernandez, Diego Fernandez, Manuel Cifuentes, Denis Parra, Rodrigo Toro Icarte

개요

NGU 알고리즘은 에피소드적 참신함과 내적 동기를 결합하여 희소 보상 환경에서 효과적인 것으로 입증되었습니다. 본 연구에서는 NGU를 다중 에이전트 환경으로 확장하고 PettingZoo의 simple_tag 환경에서 성능을 평가했습니다. 다중 에이전트 DQN 기반 모델과 비교하여 NGU는 약간 높은 반환값과 더 안정적인 학습 역학을 달성했습니다. 세 가지 설계 선택 사항을 조사했습니다: (1) 공유 리플레이 버퍼 대 개별 리플레이 버퍼, (2) 서로 다른 k 임계값을 사용하여 에이전트 간 에피소드적 참신함 공유, (3) 이질적인 베타 값 사용.

시사점, 한계점

시사점:
NGU는 경험 공유와 내적 탐험 신호의 신중한 조절을 통해 다중 에이전트 환경에서 효과적으로 적용될 수 있습니다.
공유 리플레이 버퍼를 사용한 NGU가 최고의 성능과 안정성을 보였습니다.
한계점:
참신함 공유는 k=1에서 유사한 성능을 보였지만 더 큰 값에서는 학습을 저하시켰습니다.
이질적인 베타 값은 작은 공통 값보다 개선을 보이지 않았습니다.
👍