본 논문은 대규모 언어 모델(LLM)의 추론 속도 향상을 위해 널리 사용되는 추측적 디코딩(speculative decoding) 기법의 성능 저하 문제를 해결하는 SpecExtend를 제안한다. 긴 입력 시퀀스에서 증가하는 어텐션 비용과 감소하는 초안 정확도로 인해 성능이 저하되는 기존 추측적 디코딩의 한계를 극복하기 위해, SpecExtend는 추가적인 훈련 없이도 성능을 향상시킨다. FlashAttention과 Hybrid Tree Attention과 같은 효율적인 어텐션 메커니즘을 초안 모델과 대상 모델 모두에 통합하여 모든 단계에서 대기 시간을 줄이고, 대상 모델의 어텐션 점수를 사용하여 초안 모델에 대한 관련 컨텍스트를 동적으로 선택하는 새로운 KV 캐시 업데이트 전략인 Cross-model Retrieval을 제안하여 초안 정확도와 속도를 향상시킨다. 세 개의 긴 컨텍스트 이해 데이터셋에 대한 광범위한 평가 결과, SpecExtend는 최대 16K 토큰의 입력에 대해 표준 트리 기반 추측적 디코딩을 최대 2.22배까지 가속화하는 효과적인 솔루션임을 보여준다. 소스 코드는 GitHub에서 공개된다.
