본 논문은 확산 모델을 텍스트 생성에 적용하는 연구에 대해 다룹니다. 기존의 연속형 데이터에 성공적으로 적용된 확산 모델을 이산형 데이터인 텍스트에 적용하는 데는 어려움이 있지만, 최근 연구는 연속적인 임베딩 공간에서 작업함으로써 이를 해결하고 있습니다. 하지만 기존의 확산 모델 기반 텍스트 생성 모델은 자기회귀 모델의 온도 매개변수처럼 생성 품질과 다양성 간의 상충관계를 자연스럽게 제어하는 방법이 부족하여 모델 성능 이해와 생성 품질 향상에 제약이 있습니다. 따라서 본 논문에서는 시퀀스-투-시퀀스 작업에서 품질-다양성 상충관계를 조작하기 위해 분류기 없는 안내(classifier-free guidance)와 확률적 클램핑(stochastic clamping)을 제안하고, 이 기법들이 확산 언어 모델의 성능을 향상시키는 데 사용될 수 있음을 보여줍니다.
