Sign In

Language-Driven Coordination and Learning in Multi-Agent Simulation Environments

Created by
  • Haebom
Category
Empty

저자

Zhengyang Li, Sawyer Campos, Nana Wang

개요

본 논문은 대규모 언어 모델(LLM)을 다중 에이전트 강화 학습(MARL)에 통합하여 시뮬레이션 게임 환경에서 조정, 통신 및 일반화를 향상시키는 통합 프레임워크인 LLM-MARL을 소개합니다. 이 프레임워크는 Coordinator, Communicator, Memory의 세 가지 모듈식 구성 요소를 특징으로 하며, 하위 목표를 동적으로 생성하고, 에이전트 간의 기호 메시징을 용이하게 하며, 에피소드 회상을 지원합니다. 훈련은 PPO와 언어 조건 손실 및 LLM 쿼리 게이팅을 결합합니다. LLM-MARL은 Google Research Football, MAgent Battle, StarCraft II에서 평가되었습니다.

시사점, 한계점

MAPPO 및 QMIX보다 승률, 조정 점수 및 제로 샷 일반화에서 일관된 개선을 보였습니다.
하위 목표 생성 및 언어 기반 메시징이 각각 성능 향상에 크게 기여함을 보여주는 제거 연구 결과가 있습니다.
역할 전문화 및 통신 기반 전술과 같은 새로운 행동이 나타났습니다.
언어 모델링과 정책 학습을 연결하여 대화형 시뮬레이션에서 지능적이고 협력적인 에이전트 설계를 돕습니다.
훈련, 게임 및 인간-AI 협업에 사용되는 다중 에이전트 시스템에서 LLM 활용 방안을 제시합니다.
👍