대규모 언어 모델(LLM)의 빠른 발전은 높은 계산 및 메모리 요구 사항을 초래하여 로우 비트 양자화의 채택을 촉진했다. 8비트 및 4비트 형식이 널리 사용되고 있지만, 2비트 양자화는 심각한 정확도 저하로 인해 어려움이 있다. 본 논문에서는 잔여 정제 양자화(R2Q)라는 새로운 2비트 양자화 프레임워크를 제안한다. R2Q는 양자화 과정을 두 개의 순차적인 1비트 하위 양자화로 분해하여 적응형 양자화 격자를 형성한다. Llama, OPT, Qwen에 대한 광범위한 평가를 통해 R2Q는 기존 2비트 양자화 방식보다 우수한 성능을 보였다. R2Q는 잔여 학습 메커니즘을 통해 양자화를 정제하여 성능을 향상시키고, 훈련 안정성을 높이며, 극심한 압축 하에서 수렴을 가속화한다.
