Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

Created by
  • Haebom

저자

Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

개요

본 논문은 다중 모달 대규모 언어 모델(MLLM)의 안전한 배포를 위해 탈옥 공격(jailbreak attack) 탐지를 위한 새로운 프레임워크인 JAILDAM을 제시합니다. 기존 방법들의 한계점인 백색 상자 모델에 대한 의존성, 높은 계산 비용, 그리고 충분한 라벨링된 데이터 부족 문제를 해결하기 위해, JAILDAM은 정책 기반의 불안전 지식 표현을 이용한 메모리 기반 접근 방식을 채택합니다. 테스트 시간에 불안전 지식을 동적으로 업데이트하여, 새로운 탈옥 전략에도 일반화 성능을 향상시키면서 효율성을 유지합니다. 다양한 VLM 탈옥 벤치마크 실험을 통해 JAILDAM이 정확도와 속도 면에서 최첨단 성능을 달성함을 보여줍니다.

시사점, 한계점

시사점:
MLLM의 탈옥 공격 탐지에 대한 새로운 접근 방식 제시 (메모리 기반, 정책 기반 불안전 지식 표현)
백색 상자 모델 의존성, 높은 계산 비용, 라벨링 데이터 부족 문제 해결
테스트 시간 적응을 통해 unseen jailbreak 전략에 대한 일반화 성능 향상
정확도와 속도 면에서 최첨단 성능 달성
한계점:
제안된 방법의 실제 환경 적용에 대한 추가적인 평가 필요
다양한 유형의 MLLM과 탈옥 공격에 대한 일반화 성능 검증 필요
정책 기반 불안전 지식 표현의 설계 및 학습 과정에 대한 자세한 설명 필요
👍