Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Progent: Programmable Privilege Control for LLM Agents

Created by
  • Haebom

저자

Tianneng Shi, Jingxuan He, Zhun Wang, Hongwei Li, Linyu Wu, Wenbo Guo, Dawn Song

개요

본 논문은 대규모 언어 모델(LLM) 에이전트의 보안 위협을 해결하기 위한 새로운 프레임워크인 Progent를 제안합니다. LLM 에이전트는 다양한 외부 도구와 상호 작용하며 사용자 작업을 수행하지만, 간접 프롬프트 주입, 메모리/지식 기반 오염, 악성 도구 등을 통한 공격에 취약합니다. Progent는 과도한 도구 접근 권한이 공격 성공의 주요 원인이라는 점을 인지하고, 도구 수준에서 권한을 제어하여 필요한 도구 호출만 허용하고 악성 호출을 차단함으로써 에이전트를 보호합니다. 도메인 특화 언어(DSL)를 통해 세분화된 권한 정책, 호출 차단 시 대체 동작, 동적 정책 업데이트 등을 지원하며, 결정론적 실행을 통해 검증 가능한 보안을 제공합니다. 모듈식 설계 덕분에 에이전트 내부 변경 없이도 적용 가능하며, AgentDojo, ASB, AgentPoison 등의 벤치마크를 사용한 평가 결과 공격 성공률 0%를 달성하면서 에이전트의 유용성과 속도를 유지하는 것으로 나타났습니다. 또한, LLM이 효과적인 정책을 자동 생성할 수 있음을 보여주어 정책 작성 자동화의 가능성을 제시합니다.

시사점, 한계점

시사점:
LLM 에이전트의 보안 취약점을 효과적으로 해결하는 새로운 프레임워크 Progent 제시.
도구 수준의 권한 제어를 통해 정교한 보안 정책 적용 가능.
결정론적 실행으로 검증 가능한 보안 보장.
모듈식 설계로 기존 에이전트에 대한 최소한의 변경만 필요.
LLM을 활용한 자동 정책 생성 가능성 제시.
다양한 벤치마크를 통한 실험 결과로 성능 검증.
한계점:
Progent의 DSL의 복잡성 및 사용 편의성에 대한 추가적인 연구 필요.
다양한 유형의 LLM 에이전트와 도구에 대한 호환성 및 확장성 검증 필요.
실제 환경에서의 장기간 안정성 및 성능 평가 필요.
LLM을 이용한 자동 정책 생성의 정확성 및 신뢰성에 대한 추가 연구 필요.
👍