본 논문은 대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 새로운 방법으로, 예측적 디코딩(speculative decoding)과 빔 샘플링(beam sampling)을 결합한 동적 너비 예측적 빔 디코딩(DSBD)을 제안합니다. 기존의 예측적 디코딩은 속도 향상에 효과적이지만, 품질 측면에서는 빔 샘플링이 우수합니다. 따라서 본 논문에서는 두 기법의 장점을 결합하여 속도와 정확도를 모두 개선하는 것을 목표로 합니다. 이를 위해, 소규모 보조 모델을 이용하여 여러 후보 시퀀스를 생성하고, 대규모 모델을 이용하여 동시에 검증하는 새로운 방식을 제안하며, 빔의 개수를 동적으로 조절하는 메커니즘과 병렬 검증 방식, 메모리 효율 향상 기법을 포함합니다.
