SMART: Self-Generating and Self-Validating Multi-Dimensional Assessment for LLMs' Mathematical Problem Solving

Created by

Haebom

저자

Yujie Hou, Mei Wang, Yaoyao Zhong, Ting Zhang, Xuetao Ma, Hua Huang

💡 개요

기존 LLM 수학 문제 해결 능력 평가 방식의 한계를 극복하기 위해, Polya의 문제 해결 이론에 기반하여 '의미 이해', '수학적 추론', '산술 연산', '성찰 및 개선'의 네 가지 인지 차원으로 수학 문제 해결 과정을 분해하는 새로운 평가 프레임워크인 SMART를 제안합니다. SMART는 각 차원에 맞는 구체적인 태스크를 통해 LLM의 인지 과정을 측정하며, 22개의 최신 LLM에 적용한 결과, 차원별 능력의 상당한 불일치를 발견하고 진정한 문제 해결 능력을 더 잘 반영하는 'All-Pass Score'라는 새로운 지표를 제시합니다.

🔑 시사점 및 한계

•

LLM의 수학 문제 해결 능력을 표면적인 패턴 인식에서 벗어나 다차원적인 인지 과정으로 평가할 수 있는 새로운 방법론을 제시합니다.

•

현재 LLM들이 수학적 추론의 특정 단계에서는 우수하지만, 전체 문제 해결 과정에서는 잠재적인 약점을 가지고 있음을 보여줍니다.

•

제안된 All-Pass Score는 LLM의 실제적인 수학 문제 해결 능력을 보다 정확하게 측정하는 데 기여할 수 있습니다.

•

SMART 프레임워크와 All-Pass Score의 일반화 가능성 및 다양한 수학 분야로의 확장 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage