Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains

Created by
  • Haebom

저자

Xun Xian, Ganghua Wang, Xuan Bi, Jayanth Srinivasa, Ashish Kundu, Charles Fleming, Mingyi Hong, Jie Ding

개요

본 논문은 지식 집약적 분야에서 대규모 언어 모델(LLM)의 성능을 향상시키는 검색 증강 생성(RAG)의 적대적 강건성을 조사합니다. 특히 검색 시스템에 초점을 맞춰, 의료 Q&A에서 225가지의 다양한 설정 조합(말뭉치, 검색기, 질의, 표적 정보)을 통해 검색 시스템이 보편적 중독 공격에 취약함을 보여줍니다. 공격자는 개인 식별 정보와 같은 다양한 표적 정보를 포함하는 중독된 문서를 생성하고, 이를 말뭉치에 삽입하여 공격자가 지정한 질의를 사용하는 모든 사용자가 정확하게 검색되도록 합니다. 이 취약성의 원인을 분석하여 중독된 문서와 질의 간의 임베딩 편차 패턴을 발견하고, 이를 바탕으로 RAG의 안전한 사용을 보장하는 새로운 탐지 기반 방어 기법을 개발합니다. 다양한 Q&A 영역에서의 광범위한 실험을 통해 제안된 방법이 거의 모든 경우에 우수한 탐지율을 달성함을 확인했습니다.

시사점, 한계점

시사점: RAG 시스템의 검색 부분이 보편적 중독 공격에 취약하다는 것을 밝혀냄으로써, RAG 기반 시스템의 안전한 구축 및 사용에 대한 중요한 시사점을 제공합니다. 개발된 탐지 기반 방어 기법은 RAG 시스템의 안전성을 향상시키는 데 기여할 수 있습니다.
한계점: 현재 제시된 방어 기법의 효과는 특정 Q&A 도메인에 국한될 수 있으며, 다른 도메인이나 더욱 정교한 공격에 대한 일반화 가능성에 대한 추가 연구가 필요합니다. 또한, 방어 기법의 계산 비용 및 실시간 성능에 대한 평가가 추가적으로 필요합니다.
👍