본 논문은 대규모 언어 모델(LLM)의 가중치와 활성화 함수를 1비트로 양자화하는 새로운 사후 훈련 양자화 프레임워크를 제안합니다. 기존의 양자화 기법들은 4비트 이하의 가중치 및 활성화 정밀도에서 성능 저하가 발생하는 문제점을 가지고 있는데, 본 논문에서는 W(1+1)A(1*4) 구성을 통해 이 문제를 해결합니다. 가중치는 헤시안 기반의 미세 그룹화와 EM 기반 양자화 기법을 사용하여 1비트로 양자화하고, 추가적인 1비트를 활용하여 미세 그룹화를 수행합니다. 활성화 함수는 INT4 양자화된 활성화 함수를 4 * INT1 형식으로 분해하고, 양자화 오류를 기반으로 스케일링 팩터를 동시에 스무딩하여 양자화 오류를 줄입니다. 실험 결과, 제안된 방법은 다양한 작업에서 기존 최고 성능(SOTA) LLM 양자화 기준을 능가하며, 완전 이진화 모델을 향한 기존 LLM 양자화 방법의 한계를 뛰어넘습니다. 코드는 깃허브에서 공개됩니다.
