Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

Created by
  • Haebom

저자

Zhiyuan Chang, Mingyang Li, Xiaojun Jia, Junjie Wang, Yuekai Huang, Ziyou Jiang, Yang Liu, Qing Wang

개요

본 논문은 Retrieval-Augmented Generation (RAG) 기반 대규모 언어 모델(LLM)의 보안 취약성, 특히 공개적으로 접근 가능하고 수정 가능한 지식 기반에 대한 지식 중독 공격 위험을 다룹니다. 기존의 공격 방법들이 여러 문서를 주입하거나 단순 질문에만 효과적이라는 한계를 갖는 반면, 본 논문은 단일 문서만을 사용하여 복잡한 다단계 질문에도 효과적인, 현실적인 지식 중독 공격 방법인 AuthChain을 제시합니다. AuthChain은 대규모 지식 기반 및 LLM 자체 지식에도 불구하고 중독된 문서가 신뢰할 수 있게 검색되고 LLM에 의해 신뢰되도록 세 가지 과제를 해결합니다. 여섯 가지 인기 있는 LLM에 대한 광범위한 실험을 통해 AuthChain이 기존 최고 성능 기준보다 훨씬 높은 공격 성공률과 우수한 은닉성을 달성함을 보여줍니다.

시사점, 한계점

시사점:
단일 문서를 이용한 효과적인 지식 중독 공격 방법(AuthChain) 제시
복잡한 다단계 질문에도 효과적인 공격 가능성 입증
기존 방법보다 높은 공격 성공률 및 은닉성 확보
RAG 시스템의 보안 취약성에 대한 심각성을 강조
한계점:
AuthChain의 실제 세계 적용에 대한 추가적인 연구 필요
다양한 유형의 RAG 시스템 및 LLM에 대한 일반화 가능성 검증 필요
AuthChain에 대한 방어 기법 개발 및 평가 필요
👍