AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents
Created by
Haebom
저자
Zhun Wang, Vincent Siu, Zhe Ye, Tianneng Shi, Yuzhou Nie, Xuandong Zhao, Chenguang Wang, Wenbo Guo, Dawn Song
개요
본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템의 간접 프롬프트 주입 취약성을 자동으로 발견하고 악용하는 블랙박스 퍼징 프레임워크인 AgentVigil을 제안한다. AgentVigil은 고품질 초기 시드 코퍼스를 생성하고, 몬테 카를로 트리 탐색(MCTS) 기반 시드 선택 알고리즘을 사용하여 입력을 반복적으로 개선함으로써 에이전트의 취약점을 발견할 가능성을 극대화한다. AgentDojo와 VWA-adv 벤치마크에서 o3-mini 및 GPT-4o 기반 에이전트에 대해 각각 71%와 70%의 성공률을 달성하여 기존 공격보다 성능을 거의 두 배 향상시켰다. 또한, AgentVigil은 보이지 않는 작업과 내부 LLM에 대한 강력한 전이성과 방어 기법에 대한 유망한 결과를 보여준다. 실제 환경에서 악성 사이트를 포함한 임의의 URL로 에이전트를 유도하는 데 성공했다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트의 간접 프롬프트 주입 취약성에 대한 효과적인 블랙박스 퍼징 기법을 제시하였다.
◦
기존 공격보다 월등히 높은 성공률을 달성하여 LLM 에이전트의 보안 위협을 실증적으로 보여주었다.
◦
다양한 환경과 LLM에 대한 높은 전이성을 통해 실제 시스템의 보안 강화에 중요한 시사점을 제공한다.
