마스크 확산 모델(MDM)을 이용한 순서에 상관없는 이산 데이터 생성은 기존의 자기회귀 모델에 대한 매력적인 대안을 제공하며, 특히 데이터의 자연스러운 인과적 순서가 없는 영역에서 유용합니다. 하지만 기존의 MDM은 성공적인 연속 확산 모델과 달리, 마스크된 토큰만을 반복적으로 개선할 수 있는 단순화된 마스크 추론을 사용합니다. 본 논문에서는 경로 계획(P2)이라는 새로운 추론 샘플링 전략을 제시하여 MDM의 모든 잠재력을 활용합니다. P2는 각 생성 단계를 계획과 탈잡음의 두 하위 단계로 분해합니다. P2에서 계획자는 각 단계에서 업데이트할 토큰을 선택하고, 탈잡음기를 사용하여 샘플링합니다. 본 논문은 P2가 기존 MDM의 모든 샘플링 전략을 일반화하며, 기존의 마스크되지 않은 토큰을 개선하고 업데이트하는 새로운 기능을 통해 생성 품질을 크게 향상시킨다는 것을 보여줍니다. 또한 P2가 데이터의 로그 한계 우도에 대한 확장된 증거 하한(ELBO)을 수립한다는 것을 이론적으로 증명합니다. 본 논문에서는 자기 계획, BERT 계획, 학습된 계획 등 다양한 계획자를 P2에 적용하여 여러 분야에서 MDM의 최첨단 생성 성능을 달성합니다. P2 추론만을 사용하여 단백질 서열 접힘 가능성(22%), RNA 서열 pLDDT(8%), 수학 추론(4%), 이야기 생성(ROUGE 점수 68%), 코드 생성(pass@1 지표 33%)에서 상대적인 개선을 관찰했습니다.
