본 논문은 다중 모달 대규모 언어 모델(MLLM)의 안전성 정렬 문제를 다룬다. 기존 오픈소스 MLLM은 언어 모듈의 안전성에 의존하지만, 다중 모달 입력에 특화된 안전 장치 부재로 인해 시각 영역 공격(예: 활자 조작)에 취약하다. 기존 연구는 고품질 안전 데이터셋을 활용하지만, 이 데이터셋이 모델 방어 능력 향상에 기여하는 구체적인 지식이나 패턴은 불분명하다. 본 연구는 비교 실험을 통해 안전성 격차가 주로 데이터 분포 편향에서 기인하며, 이미지 콘텐츠, 응답 품질 또는 데이터셋의 대조적 행동은 다중 모달 안전성 향상에 거의 기여하지 않음을 밝혔다. 따라서, 양성적인 지시 따르기 데이터의 응답을 단순하고 명확한 거부 문장으로 대체하여 MLLM을 미세 조정하는 방법을 제안한다. 실험 결과, 고품질 악성 데이터 수집 없이도 특정 비율의 거부 데이터가 미세 조정 세트에 존재하는 한 모델 안전성을 크게 향상시킬 수 있음을 보여준다. 이는 다중 모달 사전 학습 또는 지시 미세 조정 중 안전성 정렬이 사라진 것이 아니라 모호해진 것임을 시사한다. 기본적인 데이터 편향을 수정하는 것만으로 시각 영역의 안전성 격차를 줄일 수 있다.
