본 논문은 대규모 언어 모델(LLM)의 안전성 문제, 특히 사회적으로 해로운 질문에 대한 응답과 관련된 문제를 다룹니다. 기존의 안전성 향상 노력에도 불구하고, 정렬된 모델은 추가적인 미세 조정(fine-tuning)에 의해 안전성이 손상될 수 있다는 것을 보여줍니다. 이러한 취약성이 LLM 매개변수의 안전에 중요한 저차원 부분 공간(low-rank subspace)의 미세 조정에 대한 민감성에서 기인한다는 것을 실험적으로 증명합니다. 이러한 통찰력을 바탕으로, 정렬된 LLM의 안전 부분 공간을 외삽(extrapolation)하여 안전성 강건성을 향상시키는 새로운 훈련 없는 방법인 저차원 외삽(Low-Rank Extrapolation, LoX)을 제안합니다. 실험 결과, LoX가 유익하거나 악의적인 미세 조정 공격에 대한 강건성을 크게 향상시키는 동시에 새로운 작업에 대한 모델의 적응성을 유지한다는 것을 확인했습니다. 예를 들어, LoX는 유익하거나 악의적인 미세 조정 공격에 대한 공격 성공률(ASR)을 11%~54% 절대적으로 감소시킵니다. 매개변수의 ASR 지형을 조사함으로써, LoX의 성공은 외삽이 LLM 매개변수를 더 평평한 영역으로 이동시켜, 따라서 섭동에 덜 민감하게 만들기 때문이라고 설명합니다. 소스 코드는 github.com/VITA-Group/LoX에서 이용 가능합니다.
