대규모 언어 모델(LLM)의 발전은 복잡한 작업에서 성능 향상을 위해 테스트 시 컴퓨팅을 확장하는 것의 중요성을 강조한다. 본 연구에서는 테스트 시 컴퓨팅 전략 및 예산에 맞춰 모델 훈련을 최적화하는 방법을 탐구한다. 특히, $N$개의 독립적인 샘플에서 정답을 찾는 간단한 테스트 시 전략인 pass@N에 초점을 맞춘다. 연구 결과, 교차 엔트로피(CE) 손실로 훈련하는 것이 pass@N 정확도와 맞지 않아 훈련 시간이 길어질수록 pass@N 정확도가 감소하는 현상이 발생함을 발견했다. 이는 CE에 의해 유도된 모델의 과도한 자신감 때문이다. 과도한 자신감이 pass@N을 통한 테스트 시 컴퓨팅 확장의 걸림돌임을 실험적으로 확인했다. 또한, 모델의 자신감을 제한하고 pass@N 테스트 성능을 향상시키는 수정된 훈련 손실을 제안한다. 제안된 알고리즘은 MATH 및 MiniF2F 벤치마크에서 수학적 추론 능력을 향상시켰으며, 수학 문제 해결 및 다양한 형태의 증명 트리를 탐색하여 정리를 증명하는 데 효과적임을 입증했다. 본 연구는 LLM 개발의 두 가지 전통적인 분리된 단계인 훈련 시 프로토콜과 테스트 시 검색 및 추론 전략을 함께 설계하는 것이 중요함을 강조한다.
