MARSHAL: Incentivizing Multi-Agent Reasoning via Self-Play with Strategic LLMs
Created by
Haebom
Category
Empty
저자
Huining Yuan, Zelai Xu, Zheyue Tan, Xiangmin Yi, Mo Guang, Kaiwen Long, Haojia Hui, Boxun Li, Xinlei Chen, Bo Zhao, Xiao-Ping Zhang, Chao Yu, Yu Wang
MARSHAL: Multi-Agent Reasoning through Self-play with Strategic LLMs
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 협력 및 경쟁 환경에서 효과적으로 작동하는 다중 에이전트 시스템(MAS)을 개발하는 데 초점을 맞춘 연구를 제시합니다. 특히, 장기적인 크레딧 할당과 에이전트별 이점 추정의 어려움으로 인해 아직 충분히 탐구되지 않은 다중 턴, 다중 에이전트 시나리오에서 강화 학습(RL)을 적용하는 방법을 제시합니다. 이를 위해, 저자들은 협력 및 경쟁 게임에서 전략적 LLM을 활용한 자기-플레이를 통해 다중 에이전트 추론을 장려하는 종단간 RL 프레임워크인 MARSHAL을 소개합니다. MARSHAL은 크레딧 할당을 위해 각 상호 작용에 학습 신호를 정렬하는 턴 레벨 이점 추정기와 다중 에이전트 훈련을 안정화하기 위한 에이전트별 이점 정규화를 특징으로 합니다. Qwen3-4B로 훈련된 MARSHAL 에이전트는 자기-플레이를 통해 학습하여, 최대 28.7%의 성능 향상을 보이며 일반화된 강력한 전략적 능력을 개발했습니다. 또한, 자기-플레이를 통해 얻은 능력은 게임을 넘어 추론 벤치마크에서 MAS의 일관된 성능 향상을 가져왔습니다. 주요 MAS에 통합되었을 때, MARSHAL 에이전트는 AIME에서 최대 10.0%, GPQA-Diamond에서 6.6%, 전체 벤치마크에서 평균 3.5%의 상당한 성능 향상을 달성했습니다.
시사점, 한계점
•
시사점:
◦
자기-플레이 기반의 종단간 RL 훈련이 LLM의 일반화 가능한 다중 에이전트 추론 능력 개발에 효과적임을 입증.
