본 논문은 최첨단 언어 모델의 한계점인 이미 생성된 토큰 수정 불가능성을 해결하기 위해 일반화된 마스크 확산(GIDD, General Interpolating Discrete Diffusion)을 제안합니다. 기존 마스크 확산의 단순성과 효율성을 유지하면서, 소음 프로세스 설계의 유연성을 높였습니다. 새로운 확산 ELBO(Evidence Lower Bound)를 활용하여 계산 비용이 동일한 조건에서 최첨단 성능을 달성했으며, 마스크와 균일 노이즈를 결합한 하이브리드 접근 방식을 통해 샘플 품질을 향상시키고 모델의 자체 오류 수정 능력을 확보했습니다. 이는 자기회귀 모델의 단점을 극복하는 데 기여합니다.
