본 논문은 자기회귀 언어 모델의 속도 한계를 극복하기 위해 확산 기반 언어 모델을 제시합니다. 확산 기반 모델은 병렬적으로 여러 토큰을 디코딩할 수 있지만, 입력 컨텍스트에서 멀리 떨어진 토큰이 비관련적이거나 반복적인 "긴 디코딩 윈도우 문제"를 갖는다는 것을 밝힙니다. 이를 해결하기 위해, 하드 세그멘테이션 없이 디코딩 윈도우를 좁히는 정규화 기반 방법인 Convolutional decoding (Conv)을 제안하고, 컨텍스트에서 먼 위치의 토큰 정렬을 개선하는 Rejecting Rule-based Fine-Tuning (R2FT) 사후 학습 기법을 도입합니다. 결과적으로, 기존 방법보다 훨씬 적은 단계 수로 개방형 생성 벤치마크에서 최첨단 성능을 달성하여 속도와 품질 모두 향상시켰습니다.
