본 논문은 대규모 자기회귀(AR) Transformer 모델의 효율성을 향상시키기 위해 하드웨어 병렬 처리를 활용하는 추측적 디코딩 기법에 대해 다룹니다. 기존의 자기회귀 Transformer보다 상태 공간 모델(SSM)이 더 효율적이지만, SSM의 상태도 수천 개의 토큰을 포함할 수 있으므로 추측적 디코딩이 SSM에 확장되었습니다. 하지만 기존 접근 방식은 트리 기반 검증 방법을 활용하지 못했습니다. 본 논문은 상태 공간 모델(SSM)과 SSM 및 Transformer 계층의 하이브리드 아키텍처에서 트리 기반 추측적 디코딩을 수행하는 최초의 확장 가능한 알고리즘을 제안합니다. 누적된 상태 전이 행렬의 구조를 활용하여 현재 SSM 상태 업데이트 구현에 최소한의 오버헤드로 트리 기반 추측적 디코딩을 수행합니다. 제안된 알고리즘을 기반으로 하드웨어 인식 구현을 설명하고, 세 가지 벤치마크에서 기존 추측적 디코딩보다 성능이 우수함을 보여줍니다.
