AgentXploit: End-to-End Redteaming of Black-Box AI Agents
Created by
Haebom
저자
Zhun Wang, Vincent Siu, Zhe Ye, Tianneng Shi, Yuzhou Nie, Xuandong Zhao, Chenguang Wang, Wenbo Guo, Dawn Song
개요
본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템의 간접 프롬프트 주입 취약성을 자동으로 발견하고 악용하는 블랙박스 퍼징 프레임워크인 AgentXploit을 제안합니다. AgentXploit은 고품질 초기 시드 코퍼스를 생성하고, 몬테카를로 트리 탐색(MCTS) 기반 시드 선택 알고리즘을 사용하여 입력을 반복적으로 개선함으로써 에이전트의 취약점을 발견할 가능성을 극대화합니다. AgentDojo와 VWA-adv 벤치마크에서 o3-mini 및 GPT-4o 기반 에이전트에 대해 각각 71%와 70%의 성공률을 달성하여 기존 공격의 성능을 거의 두 배로 향상시켰습니다. 또한, AgentXploit은 보이지 않는 작업과 내부 LLM에 대한 강력한 전이성과 방어 메커니즘에 대한 유망한 결과를 보여줍니다. 실제 환경에서의 실험을 통해 악성 사이트를 포함한 임의의 URL로 에이전트를 유도하는 데 성공했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트의 간접 프롬프트 주입 취약성에 대한 효과적인 블랙박스 퍼징 프레임워크인 AgentXploit 제시.
◦
기존 공격보다 월등히 높은 성공률 달성 (AgentDojo: 71%, VWA-adv: 70%).
◦
작업 및 LLM에 대한 강력한 전이성과 방어 메커니즘에 대한 효과성 입증.
◦
실제 환경에서의 악성 URL 유도 성공 사례 제시.
•
한계점:
◦
AgentXploit의 성능은 사용된 초기 시드 코퍼스 및 MCTS 알고리즘의 효율성에 의존적일 수 있음.
