본 논문은 대규모 언어 모델(LLM)의 수 감각(number sense) 능력을 평가하기 위한 새로운 벤치마크인 "Numberland"를 제시합니다. Numberland는 기본 연산부터 지수 연산, 소수 판별, 24 게임 등 다양한 수리 문제 100개로 구성되어 있으며, OpenAI의 o1 및 o1-mini, Google Gemini, Microsoft Copilot, Anthropic Claude 등 5개의 LLM 에이전트를 대상으로 평가를 진행했습니다. 결과적으로, 결정론적 해법이 가능한 문제에서는 높은 정확도(74-95%)를 보였으나, 시행착오를 필요로 하는 24 게임에서는 정확도가 10-73%로 급격히 떨어졌습니다. 이는 LLM의 수리 추론 능력이 복잡한 문제 해결보다는 단순 계산에 강하며, 탐색 기반 문제 해결에 취약함을 시사합니다. 상위권 24 게임 해결 에이전트를 더 어려운 문제로 평가한 결과 역시 낮은 정확도(27%)를 보여 탐색 능력의 한계를 확인했습니다. 결론적으로, LLM의 수리 능력은 기존 벤치마크에서 보이는 성능과 달리 취약하며, 안전한 활용을 위해서는 단순하고 표적화된 테스트가 중요함을 강조합니다.
