본 논문은 소비자 하드웨어 상에서의 배포를 제한하는 거대한 메모리 공간을 필요로 하는 대규모 언어 모델의 문제를 해결하기 위해, 2-bit 양자화에서 활성화 값의 이상치로 인한 성능 저하 문제를 해결하는 새로운 양자화 기법인 ButterflyQuant를 제안합니다. 기존의 회전 기반 방법(QuIP, QuaRot)은 고정된 Hadamard 변환을 사용하지만, 본 논문에서는 Transformer의 각 레이어마다 다른 이상치 패턴이 존재한다는 점을 발견하고, 학습 가능한 Butterfly 변환을 이용하여 레이어에 적응적인 회전을 수행하는 ButterflyQuant를 제시합니다. Butterfly 변환은 연속적인 Givens 회전 각도를 매개변수로 하여 미분 가능하며, 직교성을 보장하면서 $O(n \log n)$의 계산 복잡도와 $\frac{n \log n}{2}$개의 학습 가능한 매개변수만을 사용합니다. 또한, 양자화에 적합한 부드러운 분포를 위해 변환 후 활성화 값에 대한 균일성 정규화를 도입합니다. LLaMA-2-7B 모델에 2-bit 양자화를 적용한 실험 결과, ButterflyQuant는 QuaRot보다 훨씬 우수한 성능을 보였습니다.
