본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 평가를 위한 새로운 벤치마크인 Putnam-AXIOM을 제시합니다. 기존 벤치마크의 한계인 과적합 문제를 해결하기 위해, 권위 있는 윌리엄 로웰 퍼트넘 수학 경시대회 문제 522개를 기반으로 구성되었으며, 변수 및 상수를 변형하여 생성된 100개의 변형 문제 세트인 Putnam-AXIOM Variation도 함께 제공합니다. Putnam-AXIOM Variation은 무한한 수의 유사한 난이도의 새로운 문제를 생성하여 과적합 문제를 완화합니다. 실험 결과, 최고 성능 모델인 OpenAI의 o1-preview조차도 원본 문제 세트에서 41.9%의 정확도를 보였으나, 변형 문제 세트에서는 정확도가 19.6% 감소하였습니다. 이는 LLM이 문제를 단순히 암기하는 경향을 보여주며, 동적인 벤치마크의 필요성을 강조합니다. 논문은 정확도 측정 외에도, 추론 과정을 직접 평가하는 Teacher-Forced Accuracy (TFA) 지표를 제시합니다. 데이터와 평가 코드는 공개적으로 제공됩니다.
