AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents
Created by
Haebom
저자
Zhun Wang, Vincent Siu, Zhe Ye, Tianneng Shi, Yuzhou Nie, Xuandong Zhao, Chenguang Wang, Wenbo Guo, Dawn Song
개요
본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템의 간접 프롬프트 주입 취약성을 자동으로 발견하고 악용하는 블랙박스 퍼징 프레임워크인 AgentXploit을 제안합니다. AgentXploit은 고품질 초기 시드 코퍼스를 구성하고, 몬테 카를로 트리 탐색(MCTS) 기반 시드 선택 알고리즘을 사용하여 입력을 반복적으로 개선하여 에이전트의 취약점을 발견할 가능성을 극대화합니다. AgentDojo와 VWA-adv 벤치마크에서 o3-mini 및 GPT-4o 기반 에이전트에 대해 각각 71%와 70%의 성공률을 달성하여 기존 공격의 성능을 거의 두 배로 높였습니다. 또한, AgentXploit은 보이지 않는 작업과 내부 LLM에 대한 강력한 전이성과 방어에 대한 유망한 결과를 보여줍니다. 실제 환경에서도 악의적인 사이트를 포함한 임의의 URL로 에이전트를 유도하는 데 성공했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트 시스템의 간접 프롬프트 주입 취약성에 대한 효과적인 블랙박스 퍼징 프레임워크 AgentXploit 제시.
◦
기존 공격 대비 향상된 성공률(70~71%) 달성.
◦
다양한 작업 및 LLM에 대한 높은 전이성과 방어 우회 가능성 확인.
◦
실제 환경에서의 공격 성공을 통해 LLM 에이전트의 보안 위협을 실증적으로 보여줌.
•
한계점:
◦
AgentXploit의 성능은 특정 벤치마크 및 LLM에 대한 평가 결과에 기반하며, 다른 시스템이나 LLM에 대한 일반화 가능성은 추가 연구가 필요함.
