본 논문은 대규모 기초 모델 기반의 다중 모달 에이전트의 급속한 발전에도 불구하고, 협업 과제에서 에이전트 간 언어 기반 의사소통의 잠재력이 크게 간과되었다는 점을 지적합니다. 특히 인간과의 의사소통 시 실제 환경 배포에서의 효과를 이해하는 데 중요한 차이점을 제시합니다. 기존의 에이전트 벤치마크는 에이전트 간 의사소통 및 협업의 핵심 측면, 특히 에이전트가 정보에 대한 접근 권한이 불균등하고 개별 역량을 넘어서는 과제를 달성하기 위해 함께 노력해야 하는 시나리오를 다루지 못합니다. 이러한 간극을 메우기 위해, 본 논문은 언어 의사소통을 통해 다중 모달 다중 에이전트 시스템의 협업 성능을 평가하도록 설계된 새로운 퍼즐 벤치마크인 COMMA를 제시합니다. COMMA 벤치마크는 다양한 다중 모달 퍼즐을 제공하여 의사소통 협업 환경에서 에이전트 역량의 네 가지 주요 범주에 대한 포괄적인 평가를 제공합니다. 연구 결과는 GPT-4o 및 o4-mini와 같은 강력한 독점 모델 및 추론 모델을 포함하여 최첨단 모델의 놀라운 약점을 보여줍니다. R1-Onevision 및 LLaVA-CoT와 같은 많은 사고 과정 추론 모델은 에이전트 간 협업에서 무작위 기준선보다 성능이 뛰어나지 못하여 의사소통 능력 향상에 대한 잠재적 성장 영역을 나타냅니다.
