본 논문은 최근 대규모 언어 모델(LLM)의 배포에 있어 메모리 효율을 위해 표준으로 자리 잡은 Post-training quantization(PTQ)의 보안 취약성을 다룹니다. 기존의 간단한 반올림 기반 quantization 기법의 보안 위험성이 제기된 바 있으나, ollama와 llama.cpp에서 사용되는 GGUF quantization과 같은 복잡한 기법에는 적용되지 못했습니다. 본 연구는 GGUF quantization에 대한 최초의 공격 기법을 제시합니다. 전체 정밀도 가중치와 (디)양자화된 버전 간의 양자화 오류를 활용하여, 전체 정밀도에서는 악성 행위가 숨겨진 채 양자화된 모델에 악성 행위를 주입하는 공격을 개발했습니다. 세 가지 인기 있는 LLM과 아홉 가지 GGUF 양자화 데이터 유형에 걸쳐, 안전하지 않은 코드 생성, 표적 콘텐츠 삽입, 정상적인 지시 거부 등 세 가지 공격 시나리오에서 공격의 효과를 입증했습니다.
