AgentLeak: A Full-Stack Benchmark for Privacy Leakage in Multi-Agent LLM Systems

Created by

Haebom

저자

Faouzi El Yagoubi, Ranwa Al Mallah, Godwin Badu-Marfo

💡 개요

본 연구는 다중 에이전트 LLM 시스템에서 발생하는 개인정보 유출 문제를 측정할 수 있는 최초의 풀스택 벤치마크인 AgentLeak를 제안합니다. AgentLeak는 1,000개의 시나리오, 32가지 공격 유형, 3단계 탐지 파이프라인을 통해 내부 채널에서의 개인정보 유출을 포괄적으로 다룹니다. 실험 결과, 다중 에이전트 구성은 외부 출력 채널의 유출은 줄이지만, 감시되지 않는 내부 채널을 통해 전체 시스템의 노출을 증가시킬 수 있음을 보여줍니다.

🔑 시사점 및 한계

•

다중 에이전트 LLM 시스템은 단순히 최종 출력뿐만 아니라 에이전트 간 메시지, 공유 메모리, 도구 인수 등 내부 통신 채널을 통해 심각한 개인정보 유출 위험을 내포합니다.

•

기존의 출력 중심 감사 방식으로는 전체 개인정보 유출의 상당 부분을 놓칠 수 있으며, 에이전트 간 통신 채널(C2)이 가장 취약한 지점입니다.

•

모델 자체의 안전성 훈련이 내부 채널의 개인정보 보호에도 긍정적인 영향을 미칠 수 있으며, 향후 다중 에이전트 시스템 설계 시 내부 채널 보호를 위한 프레임워크와 통신 제어 메커니즘 도입이 필수적입니다.

•

본 연구는 특정 모델과 시나리오에 기반한 벤치마크이며, 실제 환경의 복잡성을 완전히 반영하기 위해서는 더 다양한 시나리오와 공격 기법에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage