본 논문은 대규모 언어 모델(LLM)을 1-bit 정밀도로 양자화하여 계산 비용을 크게 줄이는 방법을 제안합니다. 기존의 양자화 기법들은 가중치 및 활성화 정밀도가 4비트 미만일 경우 성능 저하가 발생하는 문제가 있습니다. 본 연구에서는 W(1+1)A(1*4) 구성을 갖는 사후 훈련 양자화 프레임워크를 제시합니다. 가중치는 1비트로 양자화되고, 추가적인 1비트는 세분화된 그룹핑에 사용됩니다. 활성화는 1비트로 양자화되며, 채널 수는 4배 증가합니다. 가중치 양자화를 위해 헤시안 기반 세분화된 그룹핑과 EM 기반 양자화 기법을 사용합니다. 활성화 양자화를 위해 INT4로 양자화된 활성화를 4 * INT1 형식으로 분해하고, 양자화 오류를 기반으로 스케일링 요소를 부드럽게 하여 활성화의 양자화 오류를 줄입니다. 본 연구의 방법은 여러 작업에서 W2A4 기반 최첨단(SOTA) LLM 양자화 기준을 능가하며, 완전 이진화 모델을 향한 기존 LLM 양자화 방법의 한계를 뛰어넘습니다.
