본 논문은 대규모 언어 모델(LLM)이 토큰 생성 과정에서 불확실성으로 인해 수학적 추론에서 오류를 범하는 문제를 다룬다. 모델 출력 분포의 엔트로피가 높은 토큰에서 오류 발생 가능성이 높다는 것을 관찰하고, 이를 해결하기 위해 고확률 토큰에서 여러 가지 추론 경로를 병렬적으로 탐색하는 새로운 접근 방식을 제안한다. 즉, 가장 확률이 높은 단일 토큰을 선택하는 대신, 중요한 의사결정 지점에서 고확률 토큰을 기반으로 생성 과정을 동적으로 분기시켜 다양한 추론 경로를 탐색하고, 더 큰 모델의 외부 피드백을 활용하여 가장 일관되고 정확한 추론 경로를 선택한다. 수학적 단어 문제와 계산 문제에 대한 실험 결과, 이 분기 전략은 기존의 argmax 디코딩에 비해 소규모 LLM의 추론 능력을 최대 4.6% 향상시키는 것으로 나타났다.
