본 논문은 비전-언어 모델(VLMs)의 안전성 저하 문제를 다룹니다. 특히, 이미지와 텍스트 간의 모달리티 갭(modality gap)이 VLM의 안전성에 미치는 영향을 연구합니다. 연구 결과, 모달리티 갭의 크기와 VLM의 안전성은 높은 역 상관관계를 보이며, 이 갭은 사전 훈련 과정에서 발생하여 미세 조정 과정에서도 지속됨을 밝힙니다. 이를 해결하기 위해 사전 훈련 과정에서 모달리티 갭을 줄이는 정규화 기법을 제안하고, LLaVA v1.5, ShareGPT4V, MiniGPT-4에 대한 실험을 통해 제안된 방법이 안전성을 최대 16.3% 향상시키고, 기존 방어 기법의 성능을 최대 18.2%까지 향상시킨다는 것을 보여줍니다.
