Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

GRADA: Graph-based Reranking against Adversarial Documents Attack

Created by
  • Haebom

作者

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu

概要

Retrieval Augmented Generation (RAG) フレームワークは、外部文書検索によって LLM の精度を向上させますが、検索プロセスを操作する敵対的な攻撃に対して脆弱です。この論文では、敵対的な文書攻撃に対するグラフベースの再順位指定フレームワークであるGRADAを提案します。 GRADAは、敵対文書の影響を軽減しながら検索品質を維持することを目的としています。 GPT-3.5-Turbo、GPT-4o、Llama3.1-8b、Llama3.1-70b、Qwen2.5-7bなど、5つのLLMと3つのデータセットを使用して実験を行い、Natural Questionsデータセットで最大80%の攻撃成功率の減少を達成しました。

Takeaways、Limitations

Takeaways: GRADAは、RAGシステムの敵対攻撃に対する脆弱性を効果的に軽減できることを示しています。さまざまなLLMとデータセットでパフォーマンスが検証されました。 Natural Questions データセットで攻撃の成功率を大幅に削減しながら、精度の低下を最小限に抑えました。
Limitations:現在は特定のデータセットとLLMについてのみ評価されているため、他のデータセットまたはLLMの一般化の可能性についてはさらなる研究が必要です。 GRADAのパフォーマンス向上に寄与する要因の詳細な分析が必要な場合があります。さまざまな種類の敵対攻撃に対するGRADAの堅牢性をさらに評価する必要があります。
👍