본 논문은 대규모 언어 모델(LLM)의 배포 과정에서 발생하는 크기 문제를 해결하기 위한 실용적인 압축 방법인 학습 후 양자화(PTQ)에 대한 연구를 수행했습니다. 기존 연구들이 PTQ의 영향에 대한 포괄적인 이해와 양자화된 모델의 확장 법칙을 제시하지 못했던 점을 지적하며, 다양한 과제에 따른 계층화된 확장 법칙을 실험적으로 탐구했습니다. LLM의 지식을 암기와 활용 능력으로 분리하고, 모델 크기, 유효 비트 너비, 보정 세트 크기, 그룹 크기 등을 포함하는 통합 정량적 프레임워크를 개발했습니다. 그 결과, 지식 암기는 지식 활용에 비해 유효 비트 너비, 보정 세트 크기 및 모델 크기 변화에 훨씬 더 민감하게 반응한다는 것을 밝혔습니다. 이러한 결과는 PTQ의 영향에 대한 세분화된 이해를 제공하고, 목표하는 인지 기능을 더 잘 보존하는 지식 인식 양자화 전략 개발에 대한 지침을 제시합니다.
