본 논문은 대규모 언어 모델(LLM) 추론의 지연 시간을 줄이기 위해 널리 사용되는 추측 디코딩의 한계를 극복하고자 한다. 특히, 에이전트 기반 프레임워크와 같이 반복적인 추론 요청을 제출하는 새로운 AI 애플리케이션의 특성을 고려하여, 효율적인 접미사 트리를 사용하여 프롬프트 및 이전 출력에서 긴 토큰 시퀀스를 캐싱하는 새로운 방법인 SuffixDecoding을 제안한다. SuffixDecoding은 높은 수용 확률에서 더 많은 토큰을, 낮은 수용 확률에서 더 적은 토큰을 적응적으로 추측함으로써, 더 긴 추측 기회를 효과적으로 활용하고 계산 비용을 절감한다. SWE-Bench 및 Text-to-SQL과 같은 에이전트 벤치마크에서 SuffixDecoding은 최대 5.3배의 속도 향상을 달성하여 EAGLE-2/3과 같은 모델 기반 접근 방식보다 2.8배, Token Recycling과 같은 모델 없는 접근 방식보다 1.9배 더 빠른 성능을 보였다.
