본 논문은 추론 시 추가적인 계산 비용을 활용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 추론 시간 확장 기술에 대해 다룹니다. 특히 Chain-of-Thought(CoT) 프롬프팅 및 그 확장인 Long CoT는 풍부한 중간 추론 과정을 생성하여 정확도를 향상시키지만, 상당한 토큰 비용이 발생하여 지연 시간에 민감한 환경에서의 배포를 저해합니다. 본 연구에서는 추론이 완료되기 전에 중단하고 최종 답변을 직접 생성하는 Truncated CoT가 종종 전체 CoT 샘플링과 일치하면서 훨씬 적은 토큰을 사용함을 보여줍니다. 이러한 통찰력을 바탕으로, 본 논문은 세 가지 독립적인 축(1) 추론 경로의 수, (2) 경로당 최종 솔루션의 수, (3) 추론 추적이 잘리는 깊이)을 따라 전체 CoT와 솔루션 전용 샘플링 간을 보간하는 통합 추론 시간 전략인 Fractured Sampling을 제시합니다. 다양한 추론 벤치마크 5개와 여러 모델 규모에 대한 광범위한 실험을 통해 Fractured Sampling이 일관되게 우수한 정확도-비용 절충안을 달성하여 Pass@k 대 토큰 예산에서 가파른 로그 선형 확장 이득을 제공함을 보여줍니다. 또한 성능을 극대화하기 위해 이러한 차원에 계산을 할당하는 방법을 분석하여 보다 효율적이고 확장 가능한 LLM 추론을 위한 길을 열었습니다.
