본 논문은 확산 기반 대규모 언어 모델(DLLM)의 효율적인 구축을 위한 양자화 기법을 제시합니다. 기존의 사후 훈련 양자화(PTQ) 기법은 DLLM에 적용 시 정확도 저하 및 일반화 성능 감소 문제를 야기하는데, 이는 DLLM의 동적 마스킹, 반복적 생성, 양방향 어텐션과 같은 핵심 메커니즘과의 충돌 때문입니다. 이에 본 논문에서는 시간 및 마스크 요소를 고려하는 보정 기법인 TMAS, 양방향 어텐션의 상호 작용 신호를 활용하여 양자화 자원을 동적으로 할당하는 IA-AQ, 마스크 상태와 토큰 점수를 오차 보정에 활용하는 CGQ 등 세 가지 새로운 기법을 포함하는 DLLMQuant 프레임워크를 제안합니다. 실험 결과, DLLMQuant는 효율성 향상과 함께 상당한 성능 향상을 달성함을 보여줍니다.
