Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MELON: Provable Defense Against Indirect Prompt Injection Attacks in AI Agents

Created by
  • Haebom

저자

Kaijie Zhu, Xianjun Yang, Jindong Wang, Wenbo Guo, William Yang Wang

개요

본 논문은 LLM 에이전트가 도구에서 가져온 정보에 악의적인 작업이 포함된 간접 프롬프트 주입(IPI) 공격에 취약하다는 점을 다룹니다. 기존의 IPI 방어 기법들은 모델 재훈련이 필요하거나, 정교한 공격에 효과적이지 못하거나, 정상적인 유용성을 저해하는 등의 한계를 가지고 있습니다. 본 논문에서는 새로운 IPI 방어 기법인 MELON(Masked re-Execution and TooL comparisON)을 제시합니다. MELON은 성공적인 공격 하에서 에이전트의 다음 행동이 사용자 작업보다 악의적인 작업에 더 의존한다는 관찰에 기반합니다. 마스킹 함수를 통해 수정된 마스크된 사용자 프롬프트로 에이전트의 경로를 재실행하여 공격을 탐지합니다. 원래 실행과 마스크된 실행에서 생성된 행동이 유사하면 공격으로 식별합니다. 또한, 위양성과 위음성을 줄이기 위한 세 가지 핵심 설계를 포함합니다. AgentDojo IPI 벤치마크에 대한 광범위한 평가를 통해 MELON이 기존 최고 성능 방어 기법보다 공격 방지 및 유용성 유지 측면에서 우수함을 보여줍니다. MELON과 기존 최고 성능 프롬프트 증강 방어 기법(MELON-Aug)을 결합하면 성능이 더욱 향상됨을 보여줍니다. 핵심 설계의 타당성을 검증하기 위한 세부적인 ablation study도 수행했습니다. 코드는 https://github.com/kaijiezhu11/MELON 에서 확인할 수 있습니다.

시사점, 한계점

•
시사점:
◦
간접 프롬프트 주입 공격에 대한 효과적인 새로운 방어 기법 MELON 제시
◦
기존 방어 기법보다 공격 방지 및 유용성 유지 측면에서 우수한 성능을 보임
◦
프롬프트 증강 기법과의 결합을 통해 성능 향상 가능성 제시
◦
핵심 설계의 효과를 검증하는 ablation study 수행
◦
오픈소스 코드 공개
•
한계점:
◦
AgentDojo 벤치마크 외 다른 환경에서의 성능 검증 필요
◦
실제 환경에서의 다양한 공격 유형에 대한 robustness 검증 필요
◦
MELON의 계산 비용 및 성능 오버헤드에 대한 추가 분석 필요
◦
마스킹 함수의 설계 및 최적화에 대한 추가 연구 필요
👍
Made with Slashpage