본 논문은 대규모 언어 모델(LLM)의 수학적 능력 평가를 위한 새로운 방법론인 StepMathAgent를 제안합니다. 기존 평가 방법의 한계인 최종 답변에만 집중하여 부정확하고 해석하기 어려운 결과를 초래하는 문제점을 해결하기 위해, StepMathAgent는 Tree-of-Error 기반의 수학적 과정 평가 에이전트로, 논리적 단계 분할, 단계 점수 매기기, 점수 집계, 오류 트리 생성 등의 내부 연산과 난이도 조정, 단순성 평가, 완전성 검증, 형식 평가 등의 외부 확장 모듈을 통합합니다. 또한, 다양한 유형, 과목, 난이도로 구성된 200개의 고품질 수학 문제에서 파생된 1,000개의 단계별 과정 평가 인스턴스로 이루어진 StepMathBench라는 벤치마크를 소개합니다. StepMathBench 실험 결과, StepMathAgent는 기존 최첨단 방법들을 능가하며, 사람의 평가 기준과 일치하고 다양한 상황에 적용 가능함을 보여줍니다. 코드와 데이터는 https://github.com/SHU-XUN/StepMathAgent 에서 이용 가능합니다.
