본 논문은 대규모 언어 모델(LLM)의 경량화 배포를 위한 양자화 연구에 초점을 맞추고 있다. 기존 연구는 주로 가중치와 활성화의 상호 작용에 초점을 맞추거나 보조 구성 요소를 사용하는 반면, 양자화 중 가중치 조정의 필요성은 간과했다. 따라서, 원래 가중치 분포는 최근접 반올림(RTN) 양자화 후 원하는 결과를 얻지 못하는 경우가 많다. 혼합 정밀도 및 저차원 오차 근사와 같은 기술을 LLM 양자화에 통합하면 결과가 향상될 수 있지만, 추가적인 계산 오버헤드가 발생한다. 기존의 가중치 양자화 기술(예: Generative Post-Training Quantization)은 국소 오차를 최소화하기 위해 가중치 분포를 수동으로 조정하지만, 전역적으로 최적의 결과를 얻지는 못한다. 최근 제안된 Learnable Singular-value Increment는 가중치 분포를 수정하여 전역 가중치 양자화를 개선하지만, 원래 분포를 상당히 왜곡하여 훈련 데이터에 대한 편향을 강화하고 하류 작업 성능을 저하시킬 수 있다. 본 논문에서는 더욱 정교한 가중치 분포 개선 방법인 Singular-value Diagonal Expansion을 제시하여 더 나은 양자화 정렬을 달성한다. 또한, 계층 간 오차를 보다 균등하게 분배하여 전반적인 양자화 결과를 향상시키는 Cross-layer Learning을 제안한다. 제안된 플러그 앤 플레이 방식의 가중치 양자화 방법은 OmniQuant, DuQuant, PrefixQuant를 포함한 최첨단 방법보다 상당한 성능 향상을 보여준다.
