본 논문은 대규모 언어 모델(LLM)의 체스 이해 능력을 평가하기 위한 종합적인 벤치마크인 ChessQA를 제시한다. 체스는 명확한 구조와 객관적인 정답을 가지면서도 다양한 숙련도 수준을 허용하기 때문에 LLM의 추론, 모델링, 추상화 능력을 평가하는 데 이상적인 환경을 제공한다. ChessQA는 규칙 이해, 전술 모티프 학습에서 전술 계산, 포지션 평가, 고차원 개념의 의미론적 설명에 이르기까지 체스 지식이 축적됨에 따라 숙련되는 추상화 수준에 해당하는 다섯 가지 작업 범주(구조, 모티프, 짧은 전술, 포지션 판단, 의미론)를 포괄하여 LLM의 체스 능력을 종합적으로 측정한다.
