Multi-agent 시스템은 일반적인 추론 작업에 강점을 보이나, 특정 분야에 대한 훈련 부족으로 인해 정확도가 떨어진다. 본 논문은 이러한 문제를 해결하기 위해, 각기 다른 LLM을 사용하는 다중 에이전트 시스템 훈련 방식을 제안한다. 특히, M-GRPO라는, 주 에이전트(플래너)와 다중 하위 에이전트(도구 실행자)를 가진 수직적 다중 에이전트 시스템을 위한 계층적 Group Relative Policy Optimization의 확장을 제안한다. M-GRPO는 계층적 신용 할당을 유지하며, 고정 크기 배치를 생성하기 위한 궤적 정렬 방식을 도입하고, 분리된 훈련 파이프라인을 통해 서버 간 백프로퍼게이션 없이 확장 가능한 훈련을 가능하게 한다. 실제 벤치마크 실험에서 M-GRPO는 기존 방식보다 우수한 성능을 보였다.
시사점, 한계점
•
시사점:
◦
개별 LLM을 사용한 다중 에이전트 시스템 훈련의 가능성을 제시.
◦
M-GRPO를 통해 계층적 신용 할당, 궤적 정렬, 분리된 훈련 파이프라인을 구현하여 훈련 안정성과 샘플 효율성을 향상시킴.
