본 논문은 대규모 언어 모델(LLM)의 메모리 사용량과 지연 시간을 줄이기 위해 재훈련 없이 가중치를 양자화하는 weight-only post-training quantization (PTQ)를 연구합니다. 특히, edge device에서의 개인화된 추론과 같이 메모리에 제약이 있는 소규모 배치 추론 시나리오에 중점을 둡니다. 가중치의 불규칙한 분포와 이상치로 인해 발생하는 양자화 문제를 해결하기 위해, 가중치를 정규 분포에 가깝게 변환하는 회전 기반 방법을 활용합니다. 본 연구에서는 정보 이론적으로 최적의 비트 할당을 유도하고, Q-Palette이라는 다양한 fractional-bit 양자화기 모음을 소개합니다. 또한, Q-Palette을 기반으로 양자화기 선택과 레이어 퓨전을 리소스 제약 조건 하에서 공동으로 최적화하는 새로운 혼합 방식 양자화 프레임워크를 제안합니다.
