Scaling Generative Verifiers For Natural Language Mathematical Proof Verification And Selection
Created by
Haebom
Category
Empty
저자
Sadegh Mahdavi, Branislav Kisacanin, Shubham Toshniwal, Wei Du, Ivan Moshkov, George Armstrong, Renjie Liao, Christos Thrampoulidis, Igor Gitman
개요
대규모 언어 모델은 최종 답을 요구하는 수학 문제에서 뛰어난 성과를 거두었지만, 그 추론 과정은 종종 결함이 있다. 본 연구는 엄밀한 증명 기반 수학으로 나아가기 위해 신뢰할 수 있는 증명 검증 능력의 필요성을 강조한다. 여러 평가 설정을 분석하고, 단일 벤치마크에 집중하는 것이 잘못된 결론으로 이어질 수 있음을 보여준다. 증명 기반 및 최종 답 추론을 모두 평가하여 모델 성능을 보다 정확하게 측정한다. GenSelect와 LLM-as-a-Judge 두 가지 주요 생성 검증 방법을 확장하고, 이들의 조합이 솔루션 검증 및 선택에 가장 효과적인 프레임워크임을 확인한다. LLM-as-a-Judge에 대한 프롬프트 선택이 모델 성능에 큰 영향을 미치지만, 강화 학습을 통해 이러한 민감도를 줄일 수 있다. 그러나 증명 수준 메트릭을 개선했음에도 불구하고, 강화 학습은 최종 답의 정확도를 향상시키지 못하며, 이는 현재 모델이 수학적 타당성보다는 형식적 또는 절차적 정확성을 보상하는 경향이 있음을 시사한다. 본 연구 결과는 확장 가능한 증명 검증 및 선택 시스템 설계 및 평가를 위한 실용적인 지침을 제시한다.
시사점, 한계점
•
시사점:
◦
단일 벤치마크에 의존하는 평가는 모델 성능에 대한 오해를 불러일으킬 수 있다.
◦
GenSelect와 LLM-as-a-Judge의 조합은 솔루션 검증 및 선택에 효과적이다.
◦
LLM-as-a-Judge 프롬프트는 성능에 영향을 미치지만, 강화 학습을 통해 이를 완화할 수 있다.
