HBLLM은 웨이블릿 기반의 고품질 1-비트 후처리 양자화 기법으로, 대형 언어 모델(LLM)을 위해 개발되었습니다. Haar 웨이블릿 변환을 활용하여 주파수 분해를 통해 표현력을 향상시켜 양자화 정확도를 크게 개선하면서 오버헤드는 최소화합니다. HBLLM은 두 가지 혁신적인 구조 인식 그룹화 전략을 특징으로 합니다: (1) 주파수 인식 다중 파라미터 행 내 그룹화 및 (2) $\ell_2$-norm 기반의 중요도 중심 열 선택. 중요하지 않은 가중치에 대해서는 각 주파수 대역 내의 양자화 그룹 전체에 공유 평균을 사용하여 저장 효율성을 최적화합니다. OPT 및 LLaMA 모델을 대상으로 한 실험에서 HBLLM은 1-비트 양자화 분야에서 최고 성능을 달성하여 LLaMA2-13B 모델에서 6.71의 perplexity를 기록했으며, 평균 가중치 저장량은 1.08비트였습니다.
