본 논문은 대규모 언어 모델(LLM)의 체계적인 평가 및 훈련을 위한 종단 간 프레임워크인 SLR(Scalable Logical Reasoning)을 제시합니다. SLR은 사용자의 작업 명세를 바탕으로, (i) 귀납적 추론 작업을 위한 지시 프롬프트, (ii) 모델 출력에 실행 가능한 검증 프로그램(검증 가능한 보상 제공), (iii) 잠재적 기저 진실 규칙을 자동으로 생성합니다. 이 과정은 완전 자동화되고 확장 가능하며, 사람의 주석이 필요 없고 작업 난이도를 정밀하게 제어할 수 있습니다. 논문에서는 SLR을 사용하여 관계, 산술, 재귀적 복잡성이 점진적으로 증가하는 20개의 커리큘럼 수준으로 구성된 19,000개의 프롬프트로 이루어진 벤치마크인 SLR-Bench를 생성했습니다. 대규모 평가 결과, 최신 LLM은 구문적으로 유효한 규칙을 쉽게 생성하지만, 정확한 논리적 추론에는 종종 실패하는 것으로 나타났습니다. 최근 추론 LLM은 성능이 향상되었지만, 1,000개의 프롬프트에 대해 300달러가 넘는 매우 높은 테스트 시간 계산 비용이 발생합니다. 마지막으로, SLR을 통한 커리큘럼 학습은 Llama-3-8B의 SLR-Bench 정확도를 두 배로 높여, 훨씬 적은 계산 비용으로 Gemini-Flash-Thinking과 동등한 수준에 도달했습니다. 또한, 이러한 추론 능력은 다양한 기존 벤치마크로 일반화되어, 하류 추론을 위한 SLR의 효과를 강조합니다.
