AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents
Created by
Haebom
저자
Zhun Wang, Vincent Siu, Zhe Ye, Tianneng Shi, Yuzhou Nie, Xuandong Zhao, Chenguang Wang, Wenbo Guo, Dawn Song
개요
본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템의 간접 프롬프트 주입 취약성을 자동으로 발견하고 악용하기 위한 블랙박스 퍼징 프레임워크인 AgentFuzzer를 제안한다. AgentFuzzer는 고품질 초기 시드 코퍼스를 생성하고, Monte Carlo Tree Search (MCTS) 기반 시드 선택 알고리즘을 사용하여 입력을 반복적으로 개선함으로써 에이전트의 취약점을 발견할 가능성을 극대화한다. AgentDojo와 VWA-adv 벤치마크에서 o3-mini 및 GPT-4o 기반 에이전트에 대해 각각 71%와 70%의 성공률을 달성하여 기존 공격 방식보다 성능을 거의 두 배 향상시켰다. 또한, AgentFuzzer는 보이지 않는 작업과 내부 LLM에 대한 강력한 전이성과 방어 메커니즘에 대한 유망한 결과를 보여준다. 실제 환경에서의 실험을 통해 악의적인 사이트를 포함한 임의의 URL로 에이전트를 유도하는 데 성공했다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트 시스템의 간접 프롬프트 주입 취약성에 대한 효과적인 블랙박스 퍼징 기법을 제시한다.
◦
기존 공격 방식보다 월등히 높은 성공률을 달성하여 실질적인 위협을 보여준다.
◦
다양한 LLM과 작업에 대한 전이성을 확인하여 범용성을 입증한다.
◦
실제 환경에서의 공격 성공을 통해 그 위험성을 실증적으로 보여준다.
•
한계점:
◦
특정 벤치마크 및 LLM에 대한 평가 결과이므로, 다른 시스템이나 LLM에 대한 일반화 가능성은 추가 연구가 필요하다.
◦
AgentFuzzer의 성능 향상을 위한 추가적인 최적화 가능성이 존재할 수 있다.
◦
방어 메커니즘에 대한 효과는 아직 초기 단계이며, 더욱 강력한 방어 메커니즘에 대한 추가적인 테스트가 필요하다.
