본 논문은 비전-언어 모델(VLMs)의 안전성 평가 및 향상에 대한 새로운 접근법을 제시합니다. 기존 연구들이 주로 위험한 입력에 대한 모델의 안전성에 초점을 맞춘 것과 달리, 본 논문은 안전한 입력에 대한 모델의 안전성까지 고려하는 새로운 평가 지표인 SafeGround를 제안합니다. SafeGround를 이용한 평가 결과, 기존의 학습 기반 안전성 향상 방법들이 안전한 입력에 대한 모델의 안전성을 오히려 저하시킬 수 있음을 발견합니다. 이에 따라, 본 논문은 학습 없이 모델의 안전성을 향상시키는 새로운 방법인 Unsafe Weights Manipulation (UWM)을 제안합니다. UWM은 안전한/위험한 입력에 대한 활성화 값을 비교하여 위험한 입력 처리에 중요한 파라미터를 식별하고, 해당 파라미터 값을 변조하여 모델의 안전성을 향상시킵니다. 실험 결과, UWM은 안전성과 지식 보존 간 최적의 균형을 달성하며, 위험한 질의에 대한 안전성을 향상시키는 동시에 안전한 질의에 대해서도 기존 학습 기반 방법보다 우수한 성능을 보입니다.
