자기회귀 변환기 모델은 비디오 생성에서 인상적인 성능을 보여주었지만, 토큰 단위의 순차적 디코딩 과정은 수만 개의 토큰으로 표현되는 긴 비디오의 경우 주요 병목 현상을 야기합니다. 본 논문에서는 비디오의 공간적 및 시간적 상관관계를 활용하는 학습이 필요 없는 자기회귀 사전 훈련 모델을 위한 추론 가속 알고리즘인 대각선 디코딩(DiagD)을 제안합니다. DiagD는 공간-시간 토큰 그리드에서 대각선 경로를 따라 토큰을 생성하여 각 프레임 내에서 병렬 디코딩을 가능하게 하고, 연속적인 프레임 간에 부분적으로 중복되도록 합니다. 제안된 알고리즘은 다양한 생성 모델과 작업에 적용 가능하며, 추론 속도와 화질 간의 절충을 유연하게 제어할 수 있습니다. 또한, 소규모 모델에서의 학습-추론 간격을 더욱 완화하기 위해 모델의 어텐션 패턴을 디코딩 순서와 정렬하는 비용 효율적인 미세 조정 전략을 제안합니다. 여러 자기회귀 비디오 생성 모델과 데이터셋에 대한 실험 결과, DiagD는 일반적인 순차적 디코딩에 비해 최대 10배의 속도 향상을 달성하면서 비슷한 화질을 유지함을 보여줍니다.
