본 논문은 대규모 언어 모델(LLMs)의 전략적 의사결정 능력을 평가하기 위해 행동 게임 이론에 기반한 새로운 평가 프레임워크를 제시합니다. Nash Equilibrium(NE) 근사에 초점을 맞춘 기존 평가 방식과 달리, 본 연구는 LLMs의 전략적 선택을 이끄는 메커니즘을 분석합니다. 22개의 최첨단 LLMs를 대상으로 실험한 결과, GPT-o3-mini, GPT-o1, DeepSeek-R1이 대부분의 게임에서 우수한 성능을 보였지만, 모델 규모만으로 성능을 예측할 수 없음을 확인했습니다. 또한, Chain-of-Thought(CoT) 프롬프팅이 모든 모델에 효과적인 것은 아니며, 특정 수준의 모델에서만 전략적 추론 능력을 향상시키는 것으로 나타났습니다. 아울러, 모델에 인코딩된 인구통계적 특징이 의사결정 패턴에 미치는 영향을 조사하여, 특정 속성 할당이 모델의 전략적 추론에 편향을 유발할 수 있음을 발견했습니다. 예를 들어, GPT-4o는 여성 특성을 부여받았을 때 더 강한 전략적 추론 능력을 보였고, Gemma는 이성애자에게 더 높은 추론 수준을 할당하는 경향을 보였습니다.
