Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Exposing Weak Links in Multi-Agent Systems under Adversarial Prompting

Created by
  • Haebom
Category
Empty

저자

Nirmit Arora, Sathvik Joel, Ishan Kavathekar, Palak, Rohan Gandhi, Yash Pandya, Tanuja Ganu, Aditya Kanade, Akshay Nambi

개요

LLM 기반 에이전트가 멀티 에이전트 시스템(MAS)에 널리 사용되면서 보안의 중요성이 커지고 있습니다. 본 연구는 MAS의 보안 취약성을 평가하기 위한 통일된 프레임워크인 SafeAgents를 제시합니다. SafeAgents는 계획 수립 전략, 에이전트 간 컨텍스트 공유, 폴백 동작과 같은 설계 선택이 적대적 프롬프트에 대한 취약성에 미치는 영향을 체계적으로 노출합니다. 또한, MAS 파이프라인 내 취약점을 식별하는 데 도움이 되는 진단 측정법인 Dharma를 소개합니다. SafeAgents를 사용하여 5가지 널리 사용되는 MAS 아키텍처를 대상으로 포괄적인 연구를 수행하여 흔한 설계 패턴이 상당한 취약점을 가지고 있음을 밝혀냈습니다.

시사점, 한계점

시사점:
MAS의 보안 취약성을 평가하기 위한 통일된 프레임워크와 측정법 제공.
다양한 MAS 아키텍처에서 흔한 설계 패턴의 취약성을 밝힘.
MAS 설계 시 보안을 고려해야 함을 강조.
한계점:
논문에서 구체적인 한계점 언급은 없음.
👍