본 논문은 비전 대형 언어 모델(VLLMs)의 안전성 및 윤리적 문제를 평가하기 위한 새로운 프레임워크인 REVEAL을 제시합니다. 기존의 단일 턴 기반 평가 방식의 한계를 극복하기 위해, REVEAL은 자동화된 이미지 마이닝, 합성 적대적 데이터 생성, crescendo 공격 전략을 이용한 다중 턴 대화 확장, GPT-4o와 같은 평가자를 통한 포괄적인 피해 평가를 포함합니다. 5개의 최첨단 VLLMs (GPT-4o, Llama-3.2, Qwen2-VL, Phi3.5V, Pixtral)을 성적 피해, 폭력, 잘못된 정보의 세 가지 주요 피해 범주에 걸쳐 평가한 결과, 다중 턴 상호 작용이 단일 턴 평가보다 결함률이 훨씬 높다는 것을 발견했습니다. GPT-4o가 안전성-유용성 지수(SUI)를 기준으로 가장 균형 잡힌 성능을 보였으며, 잘못된 정보가 개선된 상황 인식 방어가 필요한 중요한 영역으로 나타났습니다. Llama-3.2는 가장 높은 다중 턴 결함률(16.55%)을, Qwen2-VL은 가장 높은 다중 턴 거부율(19.1%)을 보였습니다.
