본 논문은 대규모 언어 모델링을 위한 비자동회귀적 대안으로서 마스크 확산 모델(MDM)을 제시합니다. 기존 MDM의 디코딩 방법(예: 신뢰도 기반 샘플링)은 각 확산 단계에서 개별 토큰의 신뢰도에 따라 토큰을 독립적으로 선택하는데, 이는 자연어 생성 순서가 순차적 자동회귀 과정과 유사하게 되어 비자동회귀 모델링의 장점을 제한합니다. 이를 해결하기 위해, 본 논문은 외부 보상 모델을 활용하여 반복적인 확산 과정 동안 원칙적인 전역 신호를 제공하는 새로운 디코딩 전략인 보상 가중 샘플링(RWS)을 제안합니다. RWS는 각 확산 단계에서 중간 시퀀스 전체의 품질을 평가하고 토큰 로짓을 그에 따라 조정하여 전역 시퀀스 수준의 일관성을 통합함으로써 토큰 선택을 유도합니다. 이는 초기 점수가 낮은 토큰의 신뢰도를 선택적으로 높여 보다 비자동회귀적인 생성 순서를 촉진합니다. 또한, 보상 가중 로짓 스케일링이 토큰 선택에서 유익한 순위 역전을 유도하고 기대 보상을 일관되게 향상시킨다는 이론적 근거를 제시합니다. 실험 결과, RWS는 비자동회귀적 생성 순서를 크게 촉진하여 여러 평가 지표에서 성능 향상을 가져옵니다. 이는 전역 신호 통합이 MDM의 비자동회귀적 특성과 전반적인 성능을 향상시키는 데 효과적임을 보여줍니다.
