Re$^2$Math: Benchmarking Theorem Retrieval in Research-Level Mathematics

작성자

Haebom

카테고리

Empty

저자

Zicheng Lyu, Wenjie Yang, Shengzhong Zhang, Zengfeng Huang

💡 개요

본 논문은 기존 수학 증명에서 보조 도구(예: 보조 정리)를 검색하고 적용하는 능력을 평가하기 위한 새로운 벤치마크인 Re$^2$Math를 제안합니다. Re$^2$Math는 증명의 중간 단계에서 필요한 보조 정리를 식별하고, 이를 뒷받침하는 학술적 출처를 찾으며, 해당 가정들이 현재 증명 맥락과 일치하는지 검증하는 것을 목표로 합니다. 제안된 벤치마크는 현재 7.0%의 ToolAcc 성능을 보이며, 현재 시스템들이 유효한 문장을 검색하지만 지역적 증명 단계에 대한 적용성을 확립하는 데 어려움을 겪고 있음을 시사합니다.

🔑 시사점 및 한계

•

기존 대규모 언어 모델은 수학적 추론 능력은 뛰어나지만, 학술 문헌을 기반으로 한 검색 및 적용 능력은 부족함을 보여줍니다.

•

Re$^2$Math 벤치마크는 증명 검색, 근거 마련, 증명 간극 충족을 분리하여 수학 문헌 기반 도구 사용을 체계적으로 진단할 수 있게 합니다.

•

현재 시스템의 낮은 성능은 검색된 정리의 타당성뿐만 아니라, 해당 정리가 특정 증명 단계에 어떻게 적용되는지에 대한 이해 부족을 나타냅니다.

•

현재 벤치마크 테스트 세트에서는 7.0%의 ToolAcc만을 달성하여, 향후 시스템의 정확도 및 적용성 향상이 필요함을 보여줍니다.

PDF 보기

Made with Slashpage