$\textit{Agents Under Siege}$: Breaking Pragmatic Multi-Agent LLM Systems with Optimized Prompt Attacks
작성자
- Haebom
카테고리
Empty
저자
Rana Muhammad Shahroz Khan, Zhen Tan, Sukwon Yun, Charles Fleming, Tianlong Chen
개요
본 논문은 대규모 언어 모델 (LLM)의 안전성에 대한 연구로, 특히 다중 에이전트 환경에서 발생하는 새로운 적대적 위험에 초점을 맞춘다. 제한된 토큰 대역폭, 메시지 전달 지연, 그리고 방어 메커니즘과 같은 제약 조건을 가진 실용적인 시스템을 공격하는 것을 목표로, 프롬프트 분포를 최적화하는 $\textit{permutation-invariant adversarial attack}$를 설계했다. 이 공격은 최대 유량 최소 비용 문제로 공식화되었으며, $\textit{Permutation-Invariant Evasion Loss (PIEL)}$를 활용하여 공격 성공률을 최대화하고 탐지 위험을 최소화한다. $\texttt{Llama}$, $\texttt{Mistral}$, $\texttt{Gemma}$, $\texttt{DeepSeek}$ 등의 모델과 $\texttt{JailBreakBench}$, $\texttt{AdversarialBench}$ 등의 데이터셋을 사용하여 기존 공격보다 최대 $7\times$ 높은 성능을 보였으며, $\texttt{Llama-Guard}$ 및 $\texttt{PromptGuard}$와 같은 기존 방어 시스템이 이 공격을 막지 못함을 입증했다.
시사점, 한계점
•
시사점:
◦
다중 에이전트 LLM 시스템의 취약점을 드러냄.
◦
제한된 자원 및 방어 메커니즘을 고려한 실용적인 공격 기법 제안.
◦
기존 방어 시스템의 한계를 보여주며, 다중 에이전트 시스템을 위한 새로운 안전 메커니즘의 필요성을 강조.
◦
다양한 모델 및 데이터셋에서 효과적인 공격 성능 입증.
•
한계점:
◦
논문에 구체적인 한계점 언급이 없음.
