본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력에 대한 의문을 제기하며, 기존 벤치마크에서의 높은 성능에도 불구하고 LLM이 답할 수 없는 문제에 대해서도 확신에 찬 잘못된 답을 생성하는 경향이 있음을 지적합니다. 이를 해결하기 위해, 문제를 트리 구조로 표현하고 필요 조건을 제거하여 무한한 수의 답할 수 없는 수학 문제와 답할 수 있는 문제를 체계적으로 생성하는 새로운 합성 데이터셋 TreeCut을 제시합니다. GPT-4 및 o3-mini를 포함한 LLM을 대상으로 한 실험 결과, TreeCut은 제로샷 설정에서 각각 최대 64%, 44%의 환각(hallucination) 비율을 유도하는 것으로 나타났습니다. 또한, 트리의 깊이 또는 복잡성, 복합적인 항목 이름, 경로 중간 부분에서 필요 조건 제거 등이 환각 발생 확률을 높이는 요인임을 분석했습니다. 데이터셋 생성 코드와 샘플 데이터는 깃허브에서 공개됩니다.
