본 논문에서는 Transformer 기반 언어 모델의 디코딩 과정을 병렬화하기 위한 새로운 아키텍처인 StagFormer(Staggered Transformer)를 제안합니다. 기존 Transformer의 순차적인 디코딩 방식과 달리, StagFormer는 시퀀스 축을 따라 실행을 엇갈리게(staggered) 하여 모델의 깊이를 따라 디코딩 과정을 병렬화합니다. 이는 $l$ 레이어의 $i$ 번째 시간 단계 토큰 표현이 $l-1$ 레이어의 $i$ 번째 시간 단계까지의 토큰 표현에 의존하는 것을 끊고, $i-1$ 번째 시간 단계까지의 토큰 표현에만 의존하도록 함으로써 달성됩니다. 이를 통해 모델의 다른 섹션을 병렬적으로 실행하여 디코딩 속도를 높이면서 품질은 유지할 수 있습니다. 또한 가중치 공유, 제한된 윈도우 어텐션, 다중 섹션으로의 확장, 순환 모델 근사 등 다양한 확장 방안을 탐구합니다.
