RevPRAG: Revealing Poisoning Attacks in Retrieval-Augmented Generation through LLM Activation Analysis
Created by
Haebom
저자
Xue Tan, Hao Luan, Mingyu Luo, Xiaoyan Sun, Ping Chen, Jun Dai
개요
본 논문은 Retrieval-Augmented Generation (RAG) 시스템의 취약점인 RAG poisoning 공격에 대한 새로운 탐지 기법인 RevPRAG를 제안합니다. RAG poisoning은 지식 데이터베이스에 악성 텍스트를 주입하여 원하는 응답을 생성하게 만드는 공격입니다. RevPRAG는 LLMs의 활성화 패턴을 분석하여 정상적인 응답과 악성 응답을 구분하는 자동화된 탐지 파이프라인으로, 다양한 벤치마크 데이터셋과 RAG 아키텍처에서 98%의 진짜 양성률과 1%에 가까운 거짓 양성률을 달성했습니다. 이는 공개적으로 접근 가능한 지식 데이터베이스를 사용하는 RAG 시스템의 보안 강화에 기여할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLMs의 활성화 패턴 분석을 통한 효과적인 RAG poisoning 탐지 기법 제시
◦
높은 진짜 양성률과 낮은 거짓 양성률을 달성하여 실제 적용 가능성을 보여줌
◦
RAG 시스템의 보안 향상에 기여
•
한계점:
◦
특정 LLMs과 데이터셋에 대한 성능 평가 결과이므로, 다른 LLMs 및 데이터셋에 대한 일반화 가능성 검증 필요
