본 논문은 극저비트(2비트 미만) 양자화에서 심각한 성능 저하를 겪는 대규모 언어 모델(LLM)의 문제를 해결하기 위해, 1.61비트 가중치 양자화를 가능하게 하는 새로운 극저비트 사후 훈련 양자화(PTQ) 방법인 PTQ1.61을 제안합니다. 기존 방법들이 가중치당 1비트 이상의 추가 비트를 사용하는 반면, PTQ1.61은 입력 활성화를 기반으로 0.0002비트의 무시 가능한 추가 비트만을 사용하는 1차원 구조화 마스크를 도입하여 중요 가중치 채널에 4비트를 할당하고, 비중요 채널에는 블록 단위 스케일링 요소 최적화 프레임워크를 통해 이진화를 수행합니다. 또한, 양자화 전에 사전 훈련된 모델의 가중치 분포를 변환하여 극저비트 채널별 PTQ의 어려움을 완화하는 새로운 양자화 전처리 패러다임을 제시합니다. 실험 결과, PTQ1.61은 극저비트 양자화에서 최첨단 성능을 달성함을 보여줍니다.
