Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Graph of Attacks with Pruning: Optimizing Stealthy Jailbreak Prompt Generation for Enhanced LLM Content Moderation

Created by
  • Haebom

저자

Daniel Schwartz, Dmitriy Bespalov, Zhe Wang, Ninad Kulkarni, Yanjun Qi

개요

본 논문은 대규모 언어 모델(LLM)의 안전성을 평가하고 강화하기 위한 새로운 프레임워크인 GAP(Graph of Attacks with Pruning)을 제시합니다. 기존의 트리 기반 LLM 탈옥 방법의 한계를 극복하기 위해 상호 연결된 그래프 구조를 구현하여 공격 경로 간의 지식 공유를 가능하게 합니다. 실험 결과, GAP은 기존 기법보다 공격 성공률을 20.8% 향상시키고 쿼리 비용을 62.7% 절감하는 것으로 나타났습니다. 개방형 및 폐쇄형 LLM 모두에 대해 최첨단 방법을 능가하며, 96% 이상의 공격 성공률을 달성합니다. 또한 자동 시드 생성을 위한 GAP-Auto와 다중 모드 공격을 위한 GAP-VLM과 같은 특수 변형도 제시합니다. GAP 생성 프롬프트는 콘텐츠 조정 시스템 개선에도 효과적이며, 미세 조정에 사용될 경우 참 양성 탐지율을 108.5%, 정확도를 183.6% 향상시킵니다. 소스 코드는 https://github.com/dsbuddy/GAP-LLM-Safety 에서 확인할 수 있습니다.

시사점, 한계점

시사점:
기존 LLM 탈옥 기법보다 향상된 공격 성공률과 효율성을 제공하는 새로운 프레임워크 GAP 제시.
다양한 유형의 LLM(개방형 및 폐쇄형)에 대한 강력한 공격 능력 입증.
콘텐츠 조정 시스템 개선에 활용 가능성 제시.
자동화된 공격 생성 및 다중 모드 공격 지원.
오픈소스로 공개되어 연구 및 개발에 기여.
한계점:
GAP의 실제 세계 적용 및 일반화 가능성에 대한 추가 연구 필요.
특정 LLM에 대한 편향성 존재 가능성.
새로운 방어 기법에 대한 적응성 평가 필요.
윤리적 문제 및 악의적 사용 가능성에 대한 고려 필요.
👍