대규모 언어 모델(LLM)은 일반적으로 안전 미세 조정을 통해 유해한 지시를 거부하도록 정렬됩니다. 최근 공격인 abliteration은 거부 행동에 가장 책임이 있는 단일 잠재 방향을 식별하고 억제하여 모델이 유해한 콘텐츠를 생성할 수 있게 합니다. 본 논문은 모델이 거부를 표현하는 방식을 근본적으로 바꾸는 방어 기법을 제안합니다. 유해한 프롬프트에 대한 응답이 거부 전에 자세한 설명을 제공하는 확장된 거부 데이터세트를 구성하여, 거부 신호를 여러 토큰 위치에 분산시킵니다. 이 데이터세트를 기반으로 Llama-2-7B-Chat 및 Qwen2.5-Instruct(1.5B 및 3B 매개변수)를 미세 조정하면 abliteration 공격 하에서 높은 거부율을 유지하는 모델이 생성됩니다. 거부율은 최대 10% 감소하는 반면, 기존 모델에서는 70~80% 감소합니다. 안전성 및 유용성에 대한 포괄적인 평가는 확장된 거부 미세 조정이 일반적인 모델 성능을 유지하고 여러 정렬 시나리오에서 견고성을 향상시키면서 abliteration 공격을 효과적으로 무력화함을 보여줍니다.
