본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 평가에 있어 기존의 정답률 중심 평가의 한계를 지적하고, 이를 극복하기 위한 새로운 평가 프레임워크인 SMART를 제안합니다. SMART는 수학적 문제 해결 과정을 이해, 추론, 연산, 반성 및 개선의 네 가지 차원으로 분해하여 각 차원을 독립적으로 평가함으로써 LLM의 행동을 해석 가능하고 세분화된 방식으로 분석합니다. 자체 생성 및 검증 메커니즘을 통합하여 확장성과 신뢰성을 확보하며, 21개의 최첨단 LLM에 적용하여 각 차원별 능력의 차이를 밝히고, 정답률만으로는 LLM의 진정한 문제 해결 능력을 평가하기에 부족함을 보여줍니다.
