Masked diffusion 모델은 이산 생성 모델링을 위한 유연한 프레임워크로 등장했지만, 동시 예측 토큰 간의 종속성을 효과적으로 캡처하지 못하는 한계가 있다. Variational Masked Diffusion (VMD)는 마스크된 확산 과정에 잠재 변수를 도입하여 토큰 간의 종속성을 명시적으로 모델링하는 프레임워크이다. VMD는 합성 데이터셋, 스도쿠 퍼즐, 텍스트 데이터셋에서 기존 마스크된 확산 모델보다 종속성 학습 및 생성 품질 향상을 보였다.
