Autoregressive (AR) 언어 모델의 추론 속도 제한 문제를 해결하기 위해, 다중 토큰을 병렬로 디코딩할 수 있는 확산 기반 언어 모델을 제시한다. 기존 확산 언어 모델의 핵심 문제점인 긴 디코딩 윈도우 문제(입력 컨텍스트에서 멀리 떨어진 토큰의 관련성 부족 및 반복)를 해결하기 위해, 경계 구분이 없는 정규화 기반 방법인 Convolutional decoding (Conv)을 제안하여 유창성과 유연성을 개선하고, Rejecting Rule-based Fine-Tuning (R2FT)을 도입하여 컨텍스트에서 멀리 떨어진 위치의 토큰을 더 잘 정렬한다. 제안된 방법들은 개방형 생성 벤치마크에서 기존 확산 언어 모델 대비 향상된 성능을 보이며 속도와 품질 모두를 개선한다.
