Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

GRADA: Graph-based Reranking against Adversarial Documents Attack

Created by
  • Haebom

作者

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu

概要

Retrieval Augmented Generation(RAG)フレームワークは、検索された文書の外部知識を統合して大規模な言語モデル(LLM)の精度を向上させますが、クエリと意味的に似ているが敵対的な文書を導入して検索プロセスを操作する敵対的な攻撃に対して脆弱です。この論文では、敵対的な文書攻撃に対するグラフベースの再ランク付け(GRADA)フレームワークを提案し、検索品質を維持しながら敵対者の成功率を大幅に削減します。 GPT-3.5-Turbo、GPT-4o、Llama3.1-8b、Llama3.1-70b、Qwen2.5-7bなど、5つのLLMと3つのデータセットを使用して実験を行いました。

Takeaways、Limitations

Takeaways:
RAGフレームワークの敵対的攻撃の脆弱性問題に対する効果的な解決策を提示します。
GRADAフレームワークを通じて敵対的な文書攻撃の成功率を著しく減少させながら、精度は維持可能であることを実験的に証明。
さまざまなLLMとデータセットを使用した幅広い実験結果の提示。
Limitations:
提案されたGRADAフレームワークの一般化性能に関するさらなる研究が必要です。
より洗練された様々な敵対的攻撃に対する防御性能評価が必要です。
特定のデータセットに依存し、他の種類のデータセットでパフォーマンスを評価する必要があります。
👍