Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model

작성자

Haebom

카테고리

Empty

저자

Yihong Dong, Zhaoyu Ma, Xue Jiang, Zhiyuan Fan, Jiaru Qian, Yongmin Li, Jianha Xiao, Zhi Jin, Rongyu Cao, Binhua Li, Fei Huang, Yongbin Li, Ge Li

💡 개요

본 논문은 코드 생성과 같이 구조적 제약이 강한 작업에서 확산 언어 모델(DLM)의 추론 속도와 출력 품질 간의 성능 저하 문제를 해결하기 위해 Saber라는 새로운 훈련 없는 샘플링 알고리즘을 제안합니다. Saber는 코드 문맥이 확립됨에 따라 적응적으로 가속화하고, 생성된 토큰을 되돌리기 위한 백트래킹 메커니즘을 도입하여 DLM의 생성 과정에서 발생하는 두 가지 핵심 통찰을 활용합니다. 이를 통해 Saber는 기존 DLM 샘플링 방법 대비 코드 생성 성능을 향상시키면서 추론 속도를 크게 개선합니다.

🔑 시사점 및 한계

•

Saber는 코드 생성과 같은 제약 조건이 강한 DLM 작업에서 추론 속도와 성능 사이의 균형을 효과적으로 맞춥니다.

•

제안된 적응적 가속화 및 백트래킹 기법은 DLM의 본질적인 장점을 활용하여 기존 방법론의 한계를 극복합니다.

•

Saber는 DLM과 자기회귀 모델 간의 코드 생성 성능 격차를 좁히는 데 기여하지만, 제안된 방법의 일반화 가능성 및 다른 복잡한 다운스트림 작업에서의 성능 검증은 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage