Unifying Masked Diffusion Models with Various Generation Orders and Beyond

작성자

Haebom

카테고리

Empty

저자

Chunsan Hong, Sanghyun Lee, Jong Chul Ye

💡 개요

본 연구는 언어 생성에서 마스크드 확산 모델(MDM)의 생성 순서 의존성 문제를 해결하기 위해 새로운 접근 방식을 제안합니다. 제안된 Order-Expressive Masked Diffusion Model(OeMDM)은 다양한 생성 순서를 통합하여 MDM, 자기회귀 모델(ARM) 및 블록 확산 모델을 단일 프레임워크로 설명할 수 있게 합니다. 또한, OeMDM을 기반으로 Learnable-Order Masked Diffusion Model(LoMDM)은 단일 목적 함수를 통해 생성 순서와 확산 모델을 동시에 학습하여 문맥에 따른 생성 순서를 가능하게 합니다.

🔑 시사점 및 한계

•

MDM의 생성 순서 문제를 통합적으로 해결하여 유연성과 해석 가능성을 높였습니다.

•

단일 학습 목표를 통해 생성 순서와 확산 모델을 동시에 학습함으로써 효율성과 성능을 개선했습니다.

•

제안된 LoMDM이 여러 언어 모델링 벤치마크에서 기존 이산 확산 모델보다 우수한 성능을 보였습니다.

•

생성 순서 학습을 위한 추가적인 연산 비용 또는 복잡성에 대한 고려가 필요할 수 있습니다.

PDF 보기

Made with Slashpage