본 논문은 대규모 오토레gressive (AR) Transformer 모델의 효율성을 향상시키는 기법인 추측적 디코딩을 상태 공간 모델 (SSM) 및 SSM과 Transformer 계층의 하이브리드 아키텍처에 적용하는 최초의 확장 가능한 알고리즘을 제안합니다. 특히, 효율적인 토큰 트리 계산이 어려운 기존 SSM의 한계를 극복하고, 누적된 상태 전이 행렬의 구조를 활용하여 트리 기반 추측적 디코딩을 최소한의 오버헤드로 수행합니다. 또한, 하드웨어 친화적인 구현을 통해 AR Transformer의 트리 기반 추측적 디코딩 방법을 SSM에 적용하고, 세 가지 벤치마크에서 SSM을 이용한 일반 추측적 디코딩보다 성능을 향상시켰습니다.
