DDOT (Discrete Diffusion with Optimal Transport Position Coupling)는 텍스트 생성 모델의 한계를 극복하기 위해 제안된 새로운 모델입니다. 특히, 기존의 discrete diffusion 모델이 텍스트의 길이와 위치를 유연하게 채워넣는 데 어려움을 겪는 문제를 해결합니다. DDOT는 토큰 값과 토큰 위치를 동시에 디노이징하며, sample-level Optimal Transport (OT) coupling을 사용하여 토큰의 상대적인 순서를 유지하면서 infilled segments의 위치와 길이를 동적으로 조절합니다. DDOT는 다양한 pretrained text denoisers와 호환되며, One-Billion-Word와 Yelp 벤치마크에서 기존 diffusion 모델과 유사한 성능을 보이며, 훈련 효율성과 유연성을 향상시킵니다.
