본 논문은 점점 커지는 최첨단 거대 언어 모델(LLM)의 메모리 효율적인 배포를 위해 후처리 양자화가 표준이 된 상황에서, 기본적인 반올림 기반 양자화 방식이 보안 위험을 초래할 수 있음을 보여주는 최근 연구들을 바탕으로 진행되었다. 기존 공격은 ollama 및 llama.cpp 프레임워크에서 사용되는 GGUF 계열과 같은 더 복잡한 양자화 방법에는 적용할 수 없다는 한계가 존재한다. 본 연구는 이러한 한계를 해결하고자 GGUF에 대한 최초의 공격을 제시한다. 핵심 아이디어는 정밀도 높은 가중치와 (디-)양자화된 버전 간의 양자화 오류가 악성 양자화 모델을 생성하는 데 충분한 유연성을 제공한다는 것이다. 이를 활용하여 양자화 오류를 기반으로 가중치를 제한하면서 대상 악성 LLM을 학습시키는 공격을 개발하였다. 세 가지 다양한 공격 시나리오(안전하지 않은 코드 생성, 표적 콘텐츠 삽입, 무해한 지시 거부)에서 세 가지 인기 있는 LLM과 아홉 가지 GGUF 양자화 데이터 유형에 대한 공격의 효과를 보여준다.
