본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 평가를 위한 새로운 벤치마크인 MathArena를 제시합니다. 기존 벤치마크의 데이터셋들이 온라인에 공개되어 있어 암기와 추론을 구분하기 어렵고, 증명 능력 평가가 부족하다는 한계를 지적하며, MathArena는 지속적으로 새로운 문제가 출제되는 수학 경시대회 문제를 활용하여 실시간 평가를 수행함으로써 데이터 오염 위험을 최소화합니다. AIME 2024 데이터셋의 오염 가능성을 확인하고, SMT 2025와 같은 고난도 경시대회 문제를 통해 최고 성능 모델의 우수한 추론 능력을 보여주는 동시에, USAMO 2025 문제에서 증명 능력의 부족을 드러냅니다. 총 5개 대회, 149개 문제를 통해 30개 모델을 평가하였으며, 지속적으로 업데이트되는 벤치마크로서 LLM의 수학적 추론 능력을 엄격하게 평가합니다.
