본 논문은 대규모 언어 모델(LLM) 추론 속도를 높이기 위한 새로운 적응형 추측 길이 조절 알고리즘인 GammaTune과 *GammaTune+*을 제안합니다. 기존의 추측적 디코딩 방식은 작은 모델의 추측 결과를 큰 모델이 검증하는 방식으로, 추측 길이 선택이 성능에 중요한 영향을 미칩니다. GammaTune과 *GammaTune+*은 훈련 없이 토큰 수용률 기반의 휴리스틱 스위칭 메커니즘을 사용하여 추측 길이를 동적으로 조절합니다. SpecBench를 이용한 다양한 실험 결과, 제안된 알고리즘은 다른 휴리스틱 기반 방법 및 고정 길이 추측적 디코딩보다 우수한 성능을 보이며, 평균 15% ($\pm$5%) (GammaTune) 및 16% ($\pm$3%) (GammaTune+)의 속도 향상을 달성하고 성능 편차를 감소시켰습니다.
