본 논문은 기존 수학 벤치마크의 신뢰성 문제(단순한 설계 및 데이터 오염)를 지적하고, 대규모 언어 모델(LLM)의 수학적 추론 능력을 효과적으로 평가하는 새로운 벤치마크인 RV-Bench를 제안합니다. RV-Bench는 무작위 변수를 포함하는 문제(RVQs)를 생성하는 함수를 사용하여 기존 문제와 유사하지만 변수 조합이 무작위인 "보지 못한" 문제를 생성합니다. LLM이 다양한 변수 조합에서 RVQs에 정확하게 답하려면 문제의 본질적인 패턴을 완전히 이해해야 하므로, RV-Bench 상에서의 정확도와 강건성을 통해 LLM의 진정한 추론 능력을 평가할 수 있습니다. 30개 이상의 LLM과 1,000개 이상의 RVQs를 사용한 실험 결과, LLM은 접해본 데이터와 "보지 못한" 데이터 분포 간에 능숙도 불균형을 보이며, 유사한 수학적 추론 과제에 대한 능숙도 일반화는 제한적이지만 테스트 시간 스케일링을 통해 효과적으로 유도될 수 있음을 확인했습니다.
