본 논문은 대규모 언어 모델의 주요 보안 위협인 프롬프트 주입 공격에 대한 기존 방어 모델의 효과를 평가하는 새로운 벤치마크 CAPTURE를 제시합니다. 기존 연구들이 정적인 공격 벤치마크에 의존하고 과도한 방어 경향을 보이는 것에 비해, CAPTURE는 최소한의 도메인 내 예시를 사용하여 문맥 인식 환경에서 공격 탐지 및 과도한 방어 경향을 평가합니다. 실험 결과, 기존 프롬프트 주입 방어 모델들이 적대적 상황에서는 높은 위음성, 일반적인 상황에서는 과도한 위양성을 보이며 심각한 한계를 드러낸다는 것을 밝혔습니다.
