Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GRADA: Graph-based Reranking against Adversarial Documents Attack

Created by
  • Haebom

저자

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu

개요

Retrieval Augmented Generation (RAG) 프레임워크는 외부 문서 검색을 통해 LLM의 정확도를 향상시키지만, 검색 과정을 조작하는 적대적 공격에 취약합니다. 본 논문에서는 적대적 문서 공격에 대한 그래프 기반 재순위 지정 프레임워크인 GRADA를 제안합니다. GRADA는 적대적 문서의 영향을 줄이면서 검색 품질을 유지하는 것을 목표로 합니다. GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b, Qwen2.5-7b 등 다섯 개의 LLM과 세 개의 데이터셋을 사용하여 실험을 진행했으며, Natural Questions 데이터셋에서 최대 80%의 공격 성공률 감소를 달성했습니다.

시사점, 한계점

시사점: GRADA는 RAG 시스템의 적대적 공격에 대한 취약성을 효과적으로 완화할 수 있음을 보여줍니다. 다양한 LLM과 데이터셋에서 성능이 검증되었습니다. Natural Questions 데이터셋에서 공격 성공률을 크게 감소시키면서 정확도 저하를 최소화했습니다.
한계점: 현재는 특정 데이터셋과 LLM에 대해서만 평가되었으므로, 다른 데이터셋이나 LLM에 대한 일반화 가능성은 추가 연구가 필요합니다. GRADA의 성능 향상에 기여하는 요소에 대한 더 자세한 분석이 필요할 수 있습니다. 다양한 유형의 적대적 공격에 대한 GRADA의 강건성을 추가적으로 평가해야 합니다.
👍