Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

Created by
  • Haebom

저자

Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

개요

본 논문은 다중 모달 대규모 언어 모델(MLLM)의 안전한 배포를 위해 탈옥 공격(jailbreak attacks) 탐지에 초점을 맞춘 새로운 프레임워크, JAILDAM을 제안합니다. 기존 방법들의 한계점인 백색 상자 모델 의존성, 높은 계산 비용, 그리고 충분한 라벨링된 데이터 부족 문제를 해결하기 위해, JAILDAM은 정책 기반의 위험 지식 표현을 활용한 메모리 기반 접근 방식을 채택합니다. 테스트 시간에 위험 지식을 동적으로 업데이트하여, 새로운 탈옥 전략에도 일반화 성능을 유지하면서 효율성을 높입니다. 다양한 VLM 탈옥 벤치마크 실험 결과, JAILDAM은 정확도와 속도 모두에서 최첨단 성능을 달성했습니다.

시사점, 한계점

시사점:
MLLM의 탈옥 공격 탐지에 대한 새로운 접근 방식 제시
백색 상자 모델에 국한되지 않고 일반적인 모델에 적용 가능
높은 계산 비용 없이 실시간 탐지 가능
라벨링된 데이터 부족 문제 해결
기존 방법 대비 향상된 정확도 및 속도 달성
한계점:
제안된 JAILDAM의 성능은 사용된 정책 기반의 위험 지식 표현의 질에 크게 의존할 수 있음.
새로운 유형의 탈옥 공격에 대한 일반화 능력에 대한 추가적인 연구가 필요함.
실제 환경에서의 폭넓은 적용성 검증이 필요함.
👍