본 논문은 대규모 언어 모델(LLM)의 안전성 문제, 특히 사회적으로 유해한 질문에 대한 응답과 관련된 문제를 다룬다. 기존의 안전성 향상 노력에도 불구하고, 정렬된 모델은 추가적인 미세 조정(fine-tuning)으로 인해 안전성이 훼손될 수 있다는 점을 실험적으로 증명한다. 이러한 취약성은 LLM 매개변수 내 안전성과 관련된 저차원 부분 공간(low-rank subspace)의 미세 조정에 대한 민감성에서 기인한다는 것을 밝히고, 이러한 통찰력을 바탕으로 새로운 훈련이 필요 없는 방법인 저차원 외삽법(Low-Rank Extrapolation, LoX)을 제안한다. LoX는 정렬된 LLM의 안전성 부분 공간을 외삽하여 안전성 강건성을 향상시킨다. 실험 결과, LoX는 유해하거나 악의적인 미세 조정 공격에 대한 강건성을 크게 향상시키는 동시에 새로운 작업에 대한 모델의 적응성을 유지한다는 것을 보여준다. 예를 들어, LoX는 유해하거나 악의적인 미세 조정 공격에 대한 공격 성공률(ASR)을 11%~54% 절대적으로 감소시킨다. 매개변수의 ASR 지형을 조사함으로써, LoX의 성공은 외삽이 LLM 매개변수를 더 평평한 영역으로 이동시켜, 섭동에 대한 민감도를 낮추기 때문이라고 설명한다. 코드는 github.com/VITA-Group/LoX에서 이용 가능하다.
