Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

Created by
  • Haebom

저자

Zhiyuan Chang, Xiaojun Jia, Mingyang Li, Junjie Wang, Yuekai Huang, Qing Wang, Ziyou Jiang, Yang Liu

개요

본 논문은 Retrieval-Augmented Generation (RAG) 기반 대규모 언어 모델(LLM)의 취약점을 공격하는 새로운 방법인 AuthChain을 제안합니다. RAG 시스템은 외부 지식 기반에 의존하기 때문에, 특히 공개적으로 접근 가능하고 수정 가능한 지식 기반의 경우 보안 취약성에 노출될 수 있습니다. 기존의 다중 악성 문서 주입 방식은 탐지가 쉽고 비실용적이라는 한계가 있습니다. AuthChain은 Chain-of-Evidence 이론과 권위 효과를 활용하여 단일 악성 문서만으로도 효과적인 공격을 가능하게 합니다. 이는 설득력 있는 증거 체인을 구축하고 권위 있는 진술을 포함하여, 정상적인 문서와 LLM의 내부 지식으로부터의 간섭을 효과적으로 극복합니다. 여섯 가지 인기 있는 LLM에 대한 광범위한 실험을 통해 AuthChain이 기존 방법보다 훨씬 높은 공격 성공률과 은폐성을 달성함을 보여줍니다.

시사점, 한계점

시사점:
단일 악성 문서를 이용한 효과적인 RAG 시스템 공격 방법을 제시합니다.
Chain-of-Evidence 이론과 권위 효과를 활용하여 높은 공격 성공률과 은폐성을 달성합니다.
공개적으로 접근 가능한 지식 기반을 사용하는 RAG 시스템의 보안 취약성을 강조합니다.
RAG 시스템의 보안 강화 방안 연구의 필요성을 시사합니다.
한계점:
AuthChain의 효과는 특정 LLM과 지식 기반에 따라 달라질 수 있습니다.
실제 세계 시나리오에서의 일반화 가능성에 대한 추가 연구가 필요합니다.
방어 메커니즘의 발전에 따라 AuthChain의 효과가 감소할 가능성이 있습니다.
👍