Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

AgentArmor: Enforcing Program Analysis on Agent Runtime Trace to Defend Against Prompt Injection

Created by
  • Haebom

저자

Peiran Wang, Yang Liu, Yunfei Lu, Yifeng Cai, Hongbo Chen, Qingyou Yang, Jie Zhang, Jue Hong, Ye Wu

개요

본 논문은 대규모 언어 모델(LLM) 에이전트의 보안 취약성, 특히 프롬프트 주입 공격에 대한 위험을 해결하기 위해 에이전트의 실행 추적을 구조화된 프로그램으로 취급하는 새로운 방법을 제시한다. AgentArmor라는 프로그램 분석 프레임워크를 제안하며, 이는 에이전트 추적을 그래프 중간 표현(CFG, DFG, PDG 등)으로 변환하고, 유형 시스템을 통해 보안 정책을 적용한다. AgentArmor는 그래프 생성기, 속성 레지스트리, 유형 시스템의 세 가지 주요 구성 요소로 이루어져 있으며, 에이전트의 동작을 구조화된 프로그램으로 표현함으로써 민감한 데이터 흐름, 신뢰 경계 및 정책 위반에 대한 프로그램 분석을 가능하게 한다. AgentDojo 벤치마크를 통해 평가한 결과, AgentArmor는 ASR을 3%로 줄이고 유틸리티 감소는 1%로 제한하는 것을 보여준다.

시사점, 한계점

시사점:
LLM 에이전트의 보안 취약성 문제에 대한 효과적인 해결책 제시
에이전트 실행 추적을 구조화된 프로그램으로 변환하여 분석 가능하게 함으로써 정적 분석 기법을 활용 가능
AgentArmor를 통해 프롬프트 주입 공격으로 인한 보안 위협 감소 가능
실험 결과를 통해 AgentArmor의 효과 및 실용성 검증
한계점:
AgentArmor의 성능 및 효율성에 대한 추가적인 연구 필요
다양한 유형의 LLM 에이전트 및 환경에 대한 적용성 검증 필요
복잡한 에이전트 동작에 대한 분석 정확도 및 한계 확인 필요
새로운 유형의 공격이나 에이전트 설계에 대한 적응성 평가 필요
👍