본 논문은 다양한 대규모 언어 모델(LLM)을 활용하는 이종 LLM 기반 다중 에이전트 시스템(X-MAS)을 제안합니다. 기존의 단일 LLM 기반 다중 에이전트 시스템과 달리, X-MAS는 각 에이전트에 서로 다른 LLM을 할당하여 시스템의 지능을 향상시킵니다. 논문에서는 X-MAS의 성능을 평가하기 위한 종합적인 테스트베드인 X-MAS-Bench를 소개하고, 27개의 LLM을 5개 도메인, 5개 기능에 걸쳐 170만 건 이상의 평가를 수행하여 각 도메인-기능 조합에 최적의 모델을 선택합니다. 실험 결과, 이종 LLM 기반 MAS는 시스템 구조 변경 없이도 성능을 크게 향상시킬 수 있음을 보여줍니다. 특히, 챗봇 전용 MAS에서는 MATH 데이터셋에서 최대 8.4%의 성능 향상을, 챗봇-추론기 혼합 MAS에서는 AIME 데이터셋에서 47%의 성능 향상을 달성했습니다. 이를 통해 이종 LLM이 확장 가능하고 협력적인 AI 시스템 발전에 중요한 역할을 할 수 있음을 강조합니다.
