본 논문은 다중 모달 대규모 언어 모델(MLLM)의 안전성 평가에 있어 기존 벤치마크의 문제점을 지적하고, 이를 해결하기 위한 새로운 벤치마크인 VLSBench를 제시합니다. 기존 연구는 텍스트 기반 언어 모델 조정이 이미지-텍스트 쌍을 이용한 조정과 비슷한 안전 성능을 보이는 역설적인 현상을 보였는데, 이는 기존 벤치마크에서 이미지의 위험한 내용이 텍스트 질의에 유출되어(VSIL), MLLM이 텍스트만으로도 위험한 이미지-텍스트 쌍을 쉽게 거부하기 때문임을 밝힙니다. 연구진은 자동화된 데이터 파이프라인을 통해 이미지-텍스트 쌍 2.2k개로 구성된 VLSBench를 구축하여, LLaVA, Qwen2-VL, GPT-4o 등 다양한 MLLM에 대한 안전성 평가를 수행하고, 텍스트 기반 조정과 다중 모달 조정 방법을 비교 분석합니다. VSIL 존재 여부에 따라 텍스트 기반 조정 또는 다중 모달 조정 방법의 효과가 달라짐을 실험적으로 확인합니다. 코드와 데이터는 공개되었습니다.
