Diffusion Language Models (DLMs)은 오토회귀 언어 모델(LMs)의 강력한 대안으로 부상했습니다. DLMs은 병렬 디코딩을 통해 비슷한 정확도를 유지하면서 더 빠른 추론 속도를 제공합니다. 그러나 높은 신뢰도를 가진 토큰에 의존하는 표준 DLM 디코딩 전략은 디코딩 진행을 제한하고 궁극적으로 생성을 늦추는 정보 이론적 병목 현상에 직면합니다. 본 논문에서는 높은 신뢰도를 가진 토큰을 우선시하는 것이 비효율적임을 이론적 및 실험적으로 증명합니다. 높은 확률의 토큰은 무시할 수 있는 정보를 담고 있으며, 이에만 의존하면 각 디코딩 라운드에서 효과적인 진행이 제한됩니다. 또한, "bits-to-rounds" 원리를 확립하여 디코딩 라운드 수가 샘플의 총 정보량(음의 로그 우도)에 비례하고, 라운드당 정보 예산에 반비례함을 증명합니다. 본 논문에서는 정보 처리량을 최대화하고 디코딩 효율성을 높이는, 학습이 필요 없는 디코딩 전략인 Explore-Then-Exploit (ETE)를 제안합니다. ETE는 교차 블록 디코딩과 높은 불확실성을 가진 토큰에 대한 타겟 탐색을 결합하여 조건부 분포를 재구성하고 신뢰도 높은 예측의 캐스케이드를 유발합니다. 실험을 통해 이론적 경계를 확인하고 ETE가 생성 품질을 저하시키지 않으면서 신뢰도 기반의 기존 방법들에 비해 필요한 디코딩 라운드 수를 일관되게 줄이는 것을 보여줍니다.
