[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

GRADA: Graph-based Reranker against Adversarial Documents Attack

Created by
  • Haebom

저자

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu

개요

Retrieval Augmented Generation (RAG) 프레임워크는 검색된 문서의 외부 지식을 통합하여 대규모 언어 모델(LLM)의 정확도를 향상시키지만, 쿼리와 의미적으로 유사하지만 적대적인 문서를 도입하여 검색 과정을 조작하는 적대적 공격에 취약합니다. 본 논문에서는 적대적 문서 공격에 대한 그래프 기반 재순위 지정(GRADA) 프레임워크를 제안하여 검색 품질을 유지하면서 적대자의 성공률을 크게 줄입니다. GPT-3.5-Turbo, GPT-4o, Llama3.1-8b, Llama3.1-70b, Qwen2.5-7b 등 5개의 LLM과 세 개의 데이터셋을 사용하여 실험을 진행하였으며, Natural Questions 데이터셋에서 최대 80%의 공격 성공률 감소를 달성하면서 정확도 손실은 최소화하였습니다.

시사점, 한계점

시사점: GRADA 프레임워크는 RAG 시스템의 적대적 공격에 대한 취약성을 효과적으로 완화하며, 다양한 LLM에서 높은 성능을 보입니다. Natural Questions 데이터셋에서 공격 성공률을 크게 감소시키면서 정확도 저하를 최소화하는 결과는 실제 응용에 대한 높은 가능성을 시사합니다.
한계점: 제안된 방법의 효과는 사용된 데이터셋과 LLM에 따라 달라질 수 있습니다. 다양한 유형의 적대적 공격에 대한 일반화 성능에 대한 추가 연구가 필요합니다. 또한, 그래프 기반 재순위 지정의 계산 비용에 대한 고려가 필요할 수 있습니다.
👍