본 논문은 대규모 언어 모델(LLM) 추론 속도를 높이기 위한 추측적 디코딩(speculative decoding) 기법을 제안합니다. 소규모 모델이 토큰을 제안하고, 대규모 모델이 이를 검증하는 방식으로, 최적의 추측 길이 선택이 속도 향상과 불필요한 연산 최소화에 중요합니다. 본 논문에서는 훈련이 필요 없는 적응형 알고리즘인 GammaTune과 *GammaTune+*을 제시합니다. 이는 휴리스틱 기반 전환 메커니즘을 사용하여 토큰 수용률에 따라 추측 길이를 동적으로 조정합니다. SpecBench를 사용한 다양한 작업 및 모델 쌍에 대한 평가 결과, GammaTune은 평균 15%($\pm$5%), *GammaTune+*는 평균 16%($\pm$3%)의 속도 향상을 달성하며, 성능 편차를 줄이는 다른 휴리스틱 기반 접근 방식 및 고정 길이 추측적 디코딩보다 우수한 성능을 보였습니다. 따라서 GammaTune은 실제 배포에 적합한 강력하고 효율적인 솔루션입니다.
