LeakDojo: Decoding the Leakage Threats of RAG Systems

작성자

Haebom

카테고리

Empty

저자

Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Han Qiu

💡 개요

Retrieval-Augmented Generation (RAG) 시스템은 외부 지식을 활용할 수 있게 하지만, 동시에 RAG 데이터베이스가 정보 누출 공격에 취약해질 수 있습니다. 본 논문은 RAG 시스템의 정보 누출 위험을 체계적으로 평가하기 위한 구성 가능한 프레임워크인 LeakDojo를 제안합니다. LeakDojo를 통해 14개의 LLM, 4개의 데이터셋, 그리고 다양한 RAG 시스템에 걸쳐 6가지 기존 공격을 벤치마킹한 결과, 쿼리 생성과 적대적 지시가 누출에 독립적으로 기여하며, LLM의 지시 이행 능력이 높을수록 누출 위험이 커지고, RAG의 충실도 향상이 오히려 누출 위험을 증가시킬 수 있음을 밝혔습니다.

🔑 시사점 및 한계

•

RAG 시스템의 정보 누출은 쿼리 생성 및 적대적 지시의 조합으로 인해 복합적으로 발생하며, 이러한 요소들이 개별적으로 누출 위험에 영향을 미칩니다.

•

LLM의 지시 이행 능력이 향상될수록 RAG 시스템의 정보 누출 위험이 증가하는 경향이 있습니다.

•

RAG 시스템의 충실도(faithfulness)를 높이려는 노력 자체가 정보 누출 위험을 증가시킬 수 있으므로, 이에 대한 균형 잡힌 접근이 필요합니다.

•

제안된 LeakDojo 프레임워크를 활용하여 다양한 공격과 시스템 설정에 대한 누출 위험을 체계적으로 평가하고 완화 전략을 개발할 수 있습니다.

•

본 연구는 현재까지 제시된 6가지 공격과 14가지 LLM에 대한 벤치마킹 결과를 기반으로 하며, 향후 더 광범위한 LLM, 데이터셋, RAG 구성 및 새로운 공격 방식에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage