본 논문은 전략적 계획, 상호 작용 및 협상(SPIN-Bench)이라는 새로운 다중 도메인 평가 기준을 제시합니다. 기존 벤치마크들이 좁은 범위의 계획이나 단일 에이전트 추론에 초점을 맞춘 것과 달리, SPIN-Bench는 고전적인 PDDL 작업, 경쟁 보드 게임, 협력 카드 게임, 다중 에이전트 협상 시나리오를 하나의 통합된 프레임워크로 결합합니다. 다양한 사회적 환경을 시뮬레이션하고 AI 에이전트의 추론 및 전략적 행동을 평가하기 위한 벤치마크와 아레나를 모두 포함합니다. 행동 공간, 상태 복잡성, 상호 작용하는 에이전트의 수를 체계적으로 변화시켜 성공이 단순한 단계적 의사 결정뿐 아니라 다른 (적대적 또는 협력적) 참가자에 대한 개념적 추론에도 의존하는 다양한 사회적 환경을 시뮬레이션합니다. 실험 결과, 최신 LLMs는 기본적인 사실 검색과 단거리 계획은 잘 처리하지만, 큰 상태 공간에 대한 깊이 있는 다단계 추론과 불확실성 하에서의 사회적으로 능숙한 조정이 필요한 작업에서는 상당한 성능 병목 현상을 겪는다는 것을 보여줍니다. SPIN-Bench는 강력한 다중 에이전트 계획, 사회적 추론 및 인간-AI 협력에 대한 미래 연구의 촉매제가 될 것으로 예상됩니다.
