Latent-Augmented Discrete Diffusion Models

작성자

Haebom

카테고리

Empty

저자

Dario Shariatian, Alain Durmus, Umut Simsekli, Stefano Peluchetti

💡 개요

본 논문은 기존 이산 확산 모델의 토큰 간 의존성 무시 및 적은 샘플링 단계에서의 성능 저하 문제를 해결하기 위해, 학습 가능한 보조 잠재 채널을 도입하여 토큰과 잠재 공간의 결합된 공간에서 확산을 수행하는 Latent-Augmented Discrete Diffusion (LADD) 모델을 제안한다. LADD는 연속 잠재 변수 (Co-LADD)와 이산 잠재 변수 (Di-LADD)를 활용하며, 데이터와 잠재 변수를 함께 복원하거나 잠재 변수 복원 후 토큰을 조건부로 샘플링하는 두 가지 추론 방식을 탐구한다. 실험 결과, LADD 모델은 최신 마스크드 이산 확산 모델 대비 비조건부 생성 성능을 향상시키고, 낮은 샘플링 예산에서도 효과적임을 입증하였다.

🔑 시사점 및 한계

•

이산 확산 모델에서 잠재 변수를 도입하여 토큰 간의 복잡한 의존성을 효과적으로 모델링할 수 있는 새로운 가능성을 제시한다.

•

적은 샘플링 단계에서도 우수한 성능을 달성할 수 있어, 빠르고 효율적인 언어 생성 모델 개발에 기여할 수 있다.

•

잠재 변수의 표현력과 확산 모델과의 호환성 간의 균형을 맞추는 설계 선택이 중요하며, 이에 대한 추가적인 분석 및 최적화가 필요할 수 있다.

PDF 보기

Made with Slashpage