본 논문은 AI 시스템 평가의 기준으로 사용되는 정확도(Accuracy)의 한계를 지적하며, 모델의 해결 전략을 심층적으로 분석하기 위한 새로운 벤치마크를 제시한다. 긴 서술 형식으로 작성된 난센스 퀴즈(brainteasers)를 활용하여, 창의적인 통찰력을 활용한 단계적 해결책과, 무차별 대입 방식의 장황한 해결책 등 다양한 접근 방식을 탐구한다. 대규모 언어 모델(LLM)을 대상으로, 해결의 정확성뿐 아니라 해결책의 질과 창의성에 초점을 맞춰 다층적 추론 과정을 조사한다. 구체적으로 난센스 퀴즈의 의미 분석, 수학적 경시대회 형식으로의 변환, 해결책 생성, 골드 솔루션 기반의 자기 수정, 단계별 해결 과정 스케치 생성, 힌트 활용 등 여러 측면을 분석한다. LLMs가 창의적인 해결책을 찾는 능력을 보여주는 사례들을 제시하지만, 효율적인 창의적 해결책이 있음에도 무차별 대입 방식에 의존하는 경우도 발견하여, LLM의 추론 능력 개선 방향을 제시한다.
