본 논문은 확산 모델에서 가중치와 활성화 함수의 비트 너비를 줄이는 모델 양자화에 대해 다룬다. 특히 4-bit 양자화에 초점을 맞추어 기존의 정수 양자화 및 사후 훈련 양자화 미세 조정 방법들의 성능 불일관성 문제를 해결하고자 한다. 대규모 언어 모델에서의 부동 소수점(FP) 양자화 성공에 착안하여, 확산 모델에 대한 저비트 FP 양자화를 탐구하며, 부호 있는 FP 양자화의 비대칭 활성화 분포 처리 실패, 미세 조정 중 잡음 제거 과정에서의 시간적 복잡성 고려 부족, 미세 조정 손실과 양자화 오차 간의 불일치 등의 주요 과제를 제시한다. 이러한 문제를 해결하기 위해, 부호 없는 FP 양자화를 도입하고, 시간 단계 인식 LoRA(TALoRA)와 잡음 제거 계수 손실 정렬(DFA)을 포함하는 믹스업-부호 부동 소수점 양자화(MSFP) 프레임워크를 제안한다. 실험 결과, 4-bit FP 양자화에서 기존의 4-bit INT 양자화 PTQ 미세 조정 방법들을 능가하는 성능을 달성하여, 확산 모델에서 4-bit FP 양자화의 우수성을 최초로 입증한다.
