본 논문은 안전 가이드라인에 맞춰 정렬된 LLM(Large Language Models)이 유해하거나 부적절한 콘텐츠를 생성하도록 유도하는 Jailbreak 공격에 대한 대응 방안을 제시합니다. 문맥 의존성으로 인해 범용적인 필터링 규칙을 만드는 어려움을 해결하기 위해, 본 연구는 성공적인 응답과 실패한 응답 간의 의미론적 일관성 분석을 수행하고, 부정(negation)을 고려한 점수 계산 방식이 유의미한 패턴을 포착함을 보였습니다. 이를 바탕으로, Adversarial 프롬프트에 의해 유도된 출력과 예상되는 안전한 동작 간의 정렬 정도를 평가하는 NegBLEURT Forest라는 새로운 탐지 프레임워크를 제안합니다. Isolation Forest 알고리즘을 사용하여 이상 응답을 식별함으로써 안정적인 Jailbreak 탐지를 가능하게 합니다. 실험 결과는 제안된 방법이 다양한 모델에서 최고 수준의 성능을 일관되게 달성하며, 경쟁 방법들은 모델 및 데이터 변화에 민감하게 반응하는 것을 보여줍니다.
