Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Multimodal Pragmatic Jailbreak on Text-to-image Models

Created by
  • Haebom

저자

Tong Liu, Zhixin Lai, Jiawen Wang, Gengyuan Zhang, Shuo Chen, Philip Torr, Vera Demberg, Volker Tresp, Jindong Gu

개요

본 논문은 텍스트-이미지(T2I) 확산 모델의 안전성 문제를 다룬다. 개별적으로는 안전한 텍스트와 이미지가 결합하여 위험한 콘텐츠를 생성하는 새로운 유형의 "탈옥(jailbreak)" 공격을 제시하고, 이를 평가하기 위한 데이터셋을 제안한다. 9개의 대표적인 T2I 모델(상업용 모델 2개 포함)을 대상으로 실험한 결과, 모든 모델이 이러한 탈옥 공격에 취약하며, 안전하지 않은 콘텐츠 생성 비율은 10%에서 70%까지 다양하게 나타났다(DALLE 3이 가장 높은 비율을 보임). 기존의 키워드 차단, 프롬프트 필터, NSFW 이미지 필터 등은 이러한 탈옥 공격에 효과적이지 않음을 보였다. 텍스트 렌더링 기능과 훈련 데이터의 관점에서 탈옥 공격의 근본 원인을 조사하고, 더 안전하고 신뢰할 수 있는 T2I 모델 개발을 위한 기반을 제공한다.

시사점, 한계점

시사점:
텍스트와 이미지의 조합을 통한 새로운 유형의 T2I 모델 탈옥 공격을 제시.
기존 안전 필터의 한계를 명확히 보여줌.
다양한 T2I 모델의 안전성 취약점을 정량적으로 분석.
향후 안전한 T2I 모델 개발 방향 제시.
한계점:
제시된 탈옥 공격이 모든 유형의 위험한 콘텐츠 생성을 포괄하지 못할 수 있음.
평가에 사용된 데이터셋의 일반화 가능성에 대한 추가 검증 필요.
탈옥 공격의 근본 원인에 대한 분석이 더 심층적으로 이루어져야 함.
👍