본 논문은 대규모 언어 모델(LLM)의 메모리 효율적인 배포를 위한 표준이 된 사후 양자화(post-training quantization)의 보안 취약성을 다룹니다. 기존의 간단한 반올림 기반 양자화 방식은 악의적인 행동을 주입하는 공격에 취약하다는 것이 알려져 있으나, GGUF(popular ollama and llama.cpp frameworks에서 사용)와 같은 복잡한 양자화 방법에는 적용되지 못했습니다. 본 연구는 GGUF에 대한 최초의 공격 방법을 제시합니다. 핵심 아이디어는 전정밀 가중치와 양자화된 가중치 간의 차이(양자화 오차)를 이용하여, 전정밀에서는 무해하게 보이지만 악의적인 행동을 포함하는 양자화된 모델을 생성하는 것입니다. 세 가지 다양한 공격 시나리오(안전하지 않은 코드 생성, 표적 콘텐츠 주입, 무해한 지시 거부)에서 세 가지 인기 있는 LLM과 아홉 가지 GGUF 양자화 데이터 유형에 대한 공격의 효과를 보여줍니다.
