본 논문은 대규모 언어 모델(LLM)의 기호 수학 능력 평가를 위한 새로운 벤치마크인 ASyMOB을 제시합니다. ASyMOB은 17,092개의 고유한 수학 문제를 포함하며, 문제의 유사성과 복잡성에 따라 구성되어 있습니다. LLM의 일반화 능력을 평가하기 위해, 간단한 수치 또는 기호적 변화를 통해 문제를 변형하여 LLM의 성능 저하를 분석합니다. 실험 결과, LLM은 모든 변형 유형에서 상당한 성능 저하를 보였으며, 기호 수학에 대한 깊이 있는 이해보다는 암기된 패턴에 의존하고 있음을 시사합니다. 컴퓨터 대수 시스템(CAS)과의 성능 비교를 통해 LLM이 성공하고 CAS가 실패하는 경우, 그리고 두 가지 방법을 결합해야만 해결 가능한 문제 등을 확인했습니다. 코드 실행 기능을 통합한 모델은 코드 없이 실행한 모델보다 정확도가 높았으며, 특히 성능이 약한 모델의 안정성을 향상시켰습니다. 최첨단 모델(o4-mini, Gemini 2.5 Flash)은 높은 기호 수학 능력과 변형에 대한 놀라운 견고성을 보였는데, 이는 최첨단 LLM의 일반화 능력에 있어 최근 "상전이"가 일어났을 가능성을 시사합니다. 향후 연구 방향으로는 정교한 외부 도구와의 심층 통합 또는 CAS가 불필요할 정도로 능력 있는 모델 개발이 제시됩니다.
