본 논문은 인공지능의 전략적 계획 및 사회적 추론 능력을 평가하기 위한 새로운 다중 도메인 평가 기준인 SPIN-Bench를 제시합니다. 기존 벤치마크들이 단순 계획이나 단일 에이전트 추론에 집중한 것과 달리, SPIN-Bench는 PDDL 작업, 경쟁 보드 게임, 협력 카드 게임, 다중 에이전트 협상 시나리오를 통합합니다. 행동 공간, 상태 복잡성, 상호 작용하는 에이전트 수를 체계적으로 변화시켜 다양한 사회적 환경을 시뮬레이션하며, 성공을 위해서는 단계적 의사 결정뿐 아니라 다른 참가자(적대적 또는 협력적)에 대한 개념적 추론이 필요합니다. 실험 결과, 최신 거대 언어 모델은 기본적인 사실 검색과 단기 계획은 잘 수행하지만, 큰 상태 공간에 대한 심층 다단계 추론이나 불확실성 하에서의 사회적으로 능숙한 조정이 필요한 작업에서는 성능 저하를 보입니다. SPIN-Bench는 강력한 다중 에이전트 계획, 사회적 추론 및 인간-AI 협력에 대한 미래 연구를 위한 촉매제가 될 것으로 기대됩니다.
