Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models

작성자

Haebom

카테고리

Empty

저자

Omer Luxembourg, Haim Permuter, Eliya Nachmani

💡 개요

기존 마스크 확산 언어 모델(MDLM)은 빠른 비자율 회귀 텍스트 생성을 목표하지만, 모델 신뢰도 기반 토큰 선택 방식은 동시 여러 위치를 복원할 때 상호작용을 무시하여 결국 느린 자율 회귀 방식으로 동작하는 문제가 있습니다. 본 연구는 추론 전용의 Dilated Unmasking Scheduler(DUS)를 제안하며, 시퀀스 위치를 인접하지 않은 그룹으로 분할하고 병렬로 복원하여 각 노이즈 제거 단계에서 결합 엔트로피 증가에 대한 상한을 최소화합니다.

🔑 시사점 및 한계

•

DUS는 네트워크 호출 횟수를 희생하여 모델 성능 저하를 최소화하며, 기존 병렬 복원 전략보다 훨씬 높은 성능을 달성합니다.

•

수학, 코드, 일반 상식, 지시사항 수행 등 다양한 벤치마크에서 DUS는 신뢰도 기반 계획기보다 우수한 성능을 보이며, 고정된 블록 크기 $B$에 따라 결정되는 예측 가능한 속도 향상을 제공합니다.

•

DUS는 기존 모델을 수정하지 않고 최대 5.8배의 실제 시간 속도 향상을 달성할 수 있으며, 드롭인 후처리 필터로 적용 시 적응형 샘플러의 성능도 개선합니다.

•

DUS는 동시 복원 시 발생하는 상호작용을 완전히 해결하지 못하며, 블록 크기 $B$ 설정에 따라 성능과 속도 간의 트레이드오프를 결정해야 하는 한계가 있습니다.

PDF 보기

Made with Slashpage