본 논문은 최근 발전된 언어 모델들의 수학적 추론 능력을 평가하는 기존 벤치마크들이 최종 답변만을 비교하는 휴리스틱 방식에 의존하여, 추론 과정의 오류를 간과한다는 점을 지적한다. 이로 인해 잘못된 추론 과정에도 불구하고 정답을 도출하는 '가양성(false positive) 해결책'이 발생하는 문제를 다룬다. 연구진은 다양한 오픈소스 모델, 난이도의 데이터셋, 디코딩 전략에서 가양성 해결책의 발생 빈도, 특징, 영향을 체계적으로 분석한다. 특히, 가양성이 언어 모델의 추론 시간 스케일링 행동에 미치는 영향을 조사하고, 가양성이 pass@N 평가 지표에 미치는 영향을 분석하여 자동 평가가 나타내는 것보다 훨씬 낮은 스케일링 상한선을 제시한다. 또한 가양성의 구체적인 사례를 분석하고, 이러한 조건에서 자기 개선 기법과 합성 데이터 생성의 한계점을 논의한다. 데이터와 코드는 공개적으로 제공된다.
