Multimodal Pragmatic Jailbreak on Text-to-image Models
Created by
Haebom
저자
Tong Liu, Zhixin Lai, Jiawen Wang, Gengyuan Zhang, Shuo Chen, Philip Torr, Vera Demberg, Volker Tresp, Jindong Gu
개요
본 논문은 텍스트-이미지(T2I) 확산 모델의 안전성 문제를 다룬다. 개별적으로는 안전한 텍스트와 이미지가 결합하여 위험한 콘텐츠를 생성하는 새로운 유형의 "탈옥(jailbreak)" 공격을 제시하고, 이를 평가하기 위한 데이터셋을 제안한다. 9개의 대표적인 T2I 모델(상업용 모델 2개 포함)을 대상으로 실험한 결과, 모든 모델이 이러한 탈옥 공격에 취약하며, 안전하지 않은 콘텐츠 생성 비율은 10%에서 70%까지 다양하게 나타났다(DALLE 3이 가장 높은 비율을 보임). 기존의 키워드 차단, 프롬프트 필터, NSFW 이미지 필터 등은 이러한 탈옥 공격에 효과적이지 않음을 보였다. 텍스트 렌더링 기능과 훈련 데이터의 관점에서 탈옥 공격의 근본 원인을 조사하고, 더 안전하고 신뢰할 수 있는 T2I 모델 개발을 위한 기반을 제공한다.