본 논문은 저비트(2~3비트) 양자화에서 성능 저하 문제를 해결하기 위해 새로운 혼합 정밀도 사후 학습 양자화 기법인 Task-Circuit Quantization (TaCQ)을 제안합니다. TaCQ는 특정 작업 성능과 관련된 가중치 집합인 가중치 회로에 양자화 과정을 직접적으로 조건화하여 작동합니다. 특정 작업 성능에 중요한 가중치는 16비트로 유지하고, 나머지 가중치는 양자화하여 성능 저하를 최소화하면서 메모리 사용량을 효율적으로 줄입니다. 양자화로 인한 가중치 변화와 작업 성능에 미치는 영향을 예측하기 위해 기울기 정보를 활용하며, 일반 목적 및 작업 특정 데이터를 모두 사용하여 다양한 작업(QA, 수학 추론, text-to-SQL)과 모델(Llama-3, Qwen2.5)에서 기존 방법보다 우수한 성능을 보임을 실험적으로 증명합니다. 특히 2비트 및 3비트 양자화 환경에서 기존 최고 성능 방법보다 큰 성능 향상을 달성합니다.
