MarsRL: Advancing Multi-Agent Reasoning System via Reinforcement Learning with Agentic Pipeline Parallelism
Created by
Haebom
Category
Empty
저자
Shulin Liu, Dong Du, Tao Yang, Yang Li, Boyu Qiu
개요
본 논문은 대규모 언어 모델(LLM)의 제한된 출력 길이를 극복하기 위해 제안된 새로운 강화 학습 프레임워크인 MarsRL을 소개합니다. MarsRL은 Solver, Verifier, Corrector와 같은 다중 에이전트 시스템을 공동으로 최적화하며, 에이전트별 보상 메커니즘과 파이프라인 기반 학습을 통해 장시간 시퀀스를 효율적으로 처리합니다. Qwen3-30B-A3B-Thinking-2507 모델에 적용하여 AIME2025 및 BeyondAIME 정확도를 크게 향상시켰으며, 더 큰 모델보다 성능이 우수함을 입증했습니다.
시사점, 한계점
•
시사점:
◦
MarsRL은 다중 에이전트 추론 시스템의 성능을 향상시키는 새로운 강화 학습 프레임워크를 제시했습니다.
◦
에이전트별 보상 메커니즘과 파이프라인 기반 학습을 통해 효율성을 개선했습니다.
◦
오픈 소스 LLM의 추론 능력을 향상시키는 데 기여했습니다.
◦
작은 모델로도 대형 모델을 능가하는 성능을 달성했습니다.
•
한계점:
◦
제안된 방법론의 일반화 가능성은 추가적인 연구가 필요합니다.
◦
다중 에이전트 시스템의 복잡성으로 인해 구현 및 훈련에 상당한 자원이 소요될 수 있습니다.
◦
특정 추론 작업에 초점을 맞추어 다른 유형의 추론 작업에 대한 성능은 추가 검증이 필요합니다.
