대규모 언어 모델(LLM)은 여러 추론 트레이스를 생성하고 최상의 트레이스를 선택하는 TTS(test-time scaling)를 통해 추론 시점에 추론 능력을 향상시킬 수 있습니다. 기존 연구에서는 샘플 수 K를 늘리면 정확도가 꾸준히 향상되는 것을 보여주었습니다. 본 논문에서는 이 경향이 무한정 지속되지 않음을 증명합니다. 즉, K가 커지면 추가적인 확장이 이점을 얻지 못하며, 특정 어려운 질문은 트레이스 수에 관계없이 해결되지 않은 상태로 남습니다. 흥미롭게도, 서로 다른 샘플링 온도가 서로 다른 문제 하위 집합을 해결한다는 것을 발견했습니다. 이는 단일 온도 스케일링이 모델의 잠재력의 일부만 탐구한다는 것을 의미합니다. 따라서 저온 스케일링을 제안하여 LLM의 추론 경계를 넓힙니다. Qwen3(0.6B, 1.7B, 4B, 8B)와 5개의 대표적인 추론 벤치마크(AIME 2024/2025, MATH500, LiveCodeBench, Hi-ToM)에 대해 평균적으로, 온도 스케일링은 단일 온도 TTS보다 7.3포인트 더 높은 성능을 보였습니다. 또한, 온도 스케일링은 추가적인 사후 훈련 없이 기본 모델이 강화 학습(RL)으로 훈련된 모델과 동등한 성능을 달성할 수 있도록 합니다. 이 현상에 대한 포괄적인 분석을 제공하고 온도 스케일링의 오버헤드를 줄이는 다중 온도 투표 방법을 설계했습니다. 전반적으로, 본 연구 결과는 TTS가 이전에 생각했던 것보다 강력하며, 온도 스케일링이 기본 모델의 잠재력을 발휘하는 간단하고 효과적인 방법을 제공한다는 것을 시사합니다.
