본 논문은 강화 학습(RL)을 통해 수학적 추론 능력 향상을 보인 대규모 언어 모델(LLM)의 성능 평가 방식의 문제점을 지적하고, 이를 해결하기 위한 새로운 평가 프레임워크 VAR-MATH를 제시한다. 기존 평가 방식의 문제점으로는 벤치마크 오염(benchmark contamination)과 평가 취약성(evaluation fragility)을 지적하며, VAR-MATH는 수치 문제를 기호 템플릿으로 변환하고 여러 인스턴스를 풀도록 요구하여 일관된 추론을 강제함으로써 이러한 문제점을 완화한다. AMC23과 AIME24 벤치마크를 VAR-MATH를 사용하여 변형한 결과, RL로 훈련된 모델들의 성능이 크게 저하됨을 보이며, 기존 RL 방법들이 표면적인 휴리스틱에 의존하고 있으며 특정 수치 형태를 넘어 일반화하는 데 실패함을 시사한다.
