MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

Created by

Haebom

저자

Ishrith Gowda (University of California, Berkeley)

💡 개요

본 논문은 검색 증강 에이전트(retrieval-augmented agents)의 지속적인 외부 메모리에 대한 메모리 중독 공격(memory poisoning attacks)을 다룹니다. 새로운 공격 평가 프레임워크를 제시하고, 공격 성공률을 4배 증가시키는 평가 오류를 바로잡았으며, 이를 기반으로 'MEMSAD'라는 새로운 방어 기법을 제안합니다. MEMSAD는 인코더 정규성 하에서 이상점 점수 기울기와 검색 목표 기울기가 동일하다는 '기울기 결합 정리'를 활용하여, 탐지 위험을 줄이는 모든 연속적 교란이 검색 순위를 저하시키도록 보장합니다.

🔑 시사점 및 한계

•

정밀한 공격 평가 및 방어 기법 개발: 기존 평가 방식의 오류를 바로잡고, 이론적 근거를 갖춘 'MEMSAD' 방어 기법을 통해 메모리 중독 공격에 대한 효과적인 탐지 및 방어가 가능함을 입증했습니다.

•

이론적 보증을 통한 강력한 방어: 기울기 결합 정리를 통해 탐지 반경에 대한 이론적 보증을 제공하며, 미니맥스 최적성을 증명하여 기존 탐지기 대비 효율성을 입증했습니다.

•

연속 공간 방어의 한계점 발견: 이산적인 동의어 치환 공격은 연속 공간 기반의 방어 기법으로는 탐지가 불가능한 '동의어 불변성 허점'을 발견했으며, 이는 향후 연구에서 해결해야 할 과제입니다.

PDF 보기

Made with Slashpage