Achieving binary weight and activation for LLMs using Post-Training Quantization
Created by
Haebom
저자
Siqing Song, Chuang Wang, Ruiqi Wang, Yi Yang, Xuyao Zhang
개요
본 논문은 대규모 언어 모델(LLM)의 가중치와 활성화 함수를 1-bit 정밀도로 양자화하는 새로운 사후 훈련 양자화 프레임워크를 제안합니다. 기존의 양자화 기법들은 4-bit 미만의 가중치 및 활성화 정밀도에서 성능 저하가 발생하는 문제점을 가지고 있는데, 본 논문에서는 W(1+1)A(1*4) 구성을 제안하여 이를 해결합니다. 가중치는 헤시안 기반의 세분화된 그룹화와 EM 기반 양자화 기법을 사용하여 1-bit로 양자화하고, 추가적인 1-bit를 활용하여 미세 조정을 수행합니다. 활성화 함수는 INT4로 양자화된 값을 4개의 INT1 값으로 분해하고, 양자화 오차를 기반으로 스케일링 인자를 부드럽게 하여 양자화 오차를 줄입니다. 실험 결과, 제안된 방법은 여러 작업에서 기존 최고 성능의 LLM 양자화 기준을 능가하며, 완전히 이진화된 모델을 향한 LLM 양자화 방법의 한계를 뛰어넘습니다. 코드는 https://github.com/JimmyCrave/LLM-PTQ-binarization 에서 확인할 수 있습니다.
