본 논문은 다중 모달 대규모 언어 모델(MLLM)의 안전한 배포를 위해 탈옥 공격(jailbreak attack) 탐지를 위한 새로운 프레임워크인 JAILDAM을 제안합니다. 기존 방법들의 한계점인 (1) 백색 박스 모델에만 적용 가능, (2) 높은 계산 비용, (3) 충분한 라벨링된 데이터 부족 문제를 해결하기 위해, JAILDAM은 정책 기반의 불안전 지식 표현을 이용한 메모리 기반 접근 방식을 활용합니다. 테스트 시간에 불안전 지식을 동적으로 업데이트하여, 보지 못한 탈옥 전략에도 일반화 성능을 향상시키면서 효율성을 유지합니다. 여러 VLM 탈옥 벤치마크 실험 결과, JAILDAM은 정확도와 속도 모두에서 최첨단 성능을 달성합니다.