본 논문은 이산 확산 언어 모델(Discrete Diffusion Language Model)이 무작위로 마스킹된 입력으로부터 텍스트를 재구성하는 과정에서, 완화된 가정 하에 이미 원래 토큰에 대한 정확한 베이지안 사후 확률을 구현한다는 것을 증명합니다. 전방 손상 분포 하에서 예상되는 잡음 제거기 출력이 참 사후 확률을 복구하며, 간단한 몬테카를로 추정기가 유한 표본 집중 경계를 가지고 O(1/sqrt(K)) 속도로 이 사후 확률에 수렴함을 보입니다. 이러한 통찰력을 바탕으로, K개의 독립적인 잡음 제거 과정을 실행하고 추가적인 훈련 없이 사후 평균과 분산을 모두 집계하는 추론 시간 앙상블을 제시합니다. WikiText-2에서 제시된 MC-marginal 샘플러는 K=128일 때 해석적 lambda-DCE 제로샷 perplexity(약 39)를 몇 점 이내로 복구하며, 토큰당 분산은 재구성 오류와 강한 순위 상관 관계(Spearman rho = 0.996)를 보입니다. 이 비용 비례 절차는 보정된 불확실성 추정과 계산량과 사후 충실도 간의 직접적인 절충안을 이산 확산 LM에서 제공합니다.
