본 논문은 대규모 언어 모델(LLM)의 복잡한 작업 수행 능력을 향상시키는 테스트 시간 스케일링 패러다임에 대해 다룹니다. 특히, 자기 일관성, best-of-$n$, 자기 수정과 같은 다양한 테스트 시간 전략의 표본 효율성에 대한 이론적 이해가 제한적임을 지적합니다. 논문에서는 먼저 자기 일관성과 best-of-$n$ 두 가지 반복적 샘플링 전략 간의 분리 결과를 제시하며, 자기 일관성은 정답을 얻기 위해 $\Theta(1/\Delta^2)$개의 샘플이 필요하지만, best-of-$n$은 $\Theta(1/\Delta)$개의 샘플만 필요함을 보입니다 (여기서 $\Delta < 1$은 정답과 두 번째로 가능성이 높은 답변 간의 확률 차이). 또한 검증자 피드백을 사용한 자기 수정 접근 방식에 대한 표현력 결과를 제시하며, 이를 통해 트랜스포머가 테스트 시간에 전문가 풀에 대한 온라인 학습을 시뮬레이션할 수 있음을 보여줍니다. 따라서 단일 트랜스포머 아키텍처는 사용자 질의와 관련된 특정 작업에 대한 사전 지식 없이 여러 작업을 해결할 수 있으며, 트랜스포머의 표현 이론을 단일 작업 설정에서 다중 작업 설정으로 확장합니다. 마지막으로 이론적 결과를 실험적으로 검증하여 자기 수정 방법의 실질적인 효과를 보여줍니다.
