Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MURMUR: Using cross-user chatter to break collaborative language agents in groups

Created by
  • Haebom
Category
Empty

저자

Atharv Singh Patlan, Peiyao Sheng, S. Ashwin Hebbar, Prateek Mittal, Pramod Viswanath

개요

본 논문은 언어 에이전트가 단일 사용자 어시스턴트에서 공유 작업 공간 및 그룹에서의 다중 사용자 협업으로 빠르게 확장됨에 따라 발생하는 새로운 공격 벡터인 교차 사용자 오염(CUP)에 대해 다룹니다. CUP 공격은 악의적인 사용자가 일반적인 메시지로 위장하여 공유 상태를 오염시키고, 이후 에이전트가 다른 사용자들을 대신하여 공격자가 지정한 의도하지 않은 작업을 수행하도록 유도합니다. 본 연구는 실제 시스템에서 CUP 공격의 성공을 검증하고, MURMUR 프레임워크를 통해 CUP 공격을 체계적으로 연구하며, 새로운 취약점을 완화하기 위한 방어 메커니즘을 제시합니다.

시사점, 한계점

시사점:
다중 사용자 환경에서 언어 모델 기반 에이전트의 보안 취약성, 특히 CUP 공격의 위험성을 제시함.
실제 시스템에서의 CUP 공격 성공을 통해 심각성을 입증함.
MURMUR 프레임워크를 통해 CUP 공격 연구를 위한 체계적인 접근 방식을 제공함.
CUP 공격의 지속성을 확인하여 다중 사용자 LLM 배포에 대한 근본적인 위험성을 강조함.
CUP 공격 완화를 위한 초기 방어 메커니즘(task-based clustering)을 제안함.
한계점:
제시된 방어 메커니즘이 CUP 공격을 완전히 해결하는지 여부에 대한 추가 연구가 필요함.
MURMUR 프레임워크의 현실적인 사용자 상호작용 생성 능력에 대한 추가 검증이 필요함.
다양한 유형의 CUP 공격 및 방어 방법에 대한 추가적인 연구가 필요함.
👍