대규모 언어 모델(LLM) 배포 시 안전성과 효율성은 모두 중요한 요소입니다. LLM은 안전을 위해 인간의 지침에 맞춰 훈련되고, 효율성을 위해 사후 훈련 양자화(PTQ)가 적용됩니다. 그러나 이러한 두 가지 목표는 종종 상충하며, 이는 전통적인 PTQ 패러다임의 근본적인 결함을 드러냅니다. 양자화는 낮은 혼란도(perplexity)만 목표로 할 경우 안전 취약점으로 변할 수 있습니다. 본 논문은 안전 정렬을 유지하면서 효율성을 높이기 위해 Alignment-Aware Quantization (AAQ)를 제안합니다. AAQ는 정렬 보존 대조 손실(APC)을 PTQ 파이프라인에 통합하여, 양자화된 모델이 안전하게 지시된 모델을 모방하도록 유도하고, 정렬되지 않은 사전 훈련된 모델과는 차별화되도록 합니다. 본 방법은 특별한 안전 중심의 보정 데이터 세트 없이도 견고한 안전 정렬을 달성하며, LLaMA, Qwen, Mistral과 같은 다양한 모델에서 4비트(W4A4) 양자화를 가능하게 합니다.
