본 논문은 대규모 언어 모델의 추론 지연 시간을 줄이기 위한 추측적 디코딩(Speculative Decoding) 기법을 개선한 SpecDec++를 제안합니다. 기존 추측적 디코딩은 후보 토큰 개수(K)를 결정하는 데 단순한 휴리스틱을 사용하여 최적의 성능을 내지 못하는 한계가 있었습니다. 본 논문에서는 K를 선택하는 문제를 마르코프 의사결정 과정(Markov Decision Process)으로 공식화하고, 최적 정책이 임계값 정책(threshold policy) 형태를 띤다는 것을 이론적으로 증명합니다. 이를 바탕으로, 후보 토큰의 수용 가능성을 예측하는 수용 예측 헤드(acceptance prediction head)를 추가하여 K를 동적으로 결정하는 SpecDec++를 제안합니다. Llama-2-chat 7B & 70B 모델에 적용한 결과, Alpaca, GSM8K, HumanEval 데이터셋에서 각각 2.04배, 2.26배, 2.23배의 속도 향상을 달성했습니다.
