Graph of Attacks with Pruning: Optimizing Stealthy Jailbreak Prompt Generation for Enhanced LLM Content Moderation
Created by
Haebom
저자
Daniel Schwartz, Dmitriy Bespalov, Zhe Wang, Ninad Kulkarni, Yanjun Qi
개요
본 논문은 대규모 언어 모델(LLM)의 안전성을 평가하고 강화하기 위한 새로운 프레임워크인 GAP(Graph of Attacks with Pruning)을 제시합니다. 기존의 트리 기반 LLM 탈옥 방법의 한계를 극복하기 위해 상호 연결된 그래프 구조를 구현하여 공격 경로 간의 지식 공유를 가능하게 합니다. 실험 결과, GAP은 기존 기법보다 공격 성공률을 20.8% 향상시키고 쿼리 비용을 62.7% 절감하는 것으로 나타났습니다. 개방형 및 폐쇄형 LLM 모두에 대해 최첨단 방법을 능가하며, 96% 이상의 공격 성공률을 달성합니다. 또한 자동 시드 생성을 위한 GAP-Auto와 다중 모드 공격을 위한 GAP-VLM과 같은 특수 변형도 제시합니다. GAP 생성 프롬프트는 콘텐츠 조정 시스템 개선에도 효과적이며, 미세 조정에 사용될 경우 참 양성 탐지율을 108.5%, 정확도를 183.6% 향상시킵니다. 소스 코드는 https://github.com/dsbuddy/GAP-LLM-Safety 에서 확인할 수 있습니다.