Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RevPRAG: Revealing Poisoning Attacks in Retrieval-Augmented Generation through LLM Activation Analysis

Created by
  • Haebom

作者

Xue Tan, Hao Luan, Mingyu Luo, Xiaoyan Sun, Ping Chen, Jun Dai

概要

本論文は,Retrieval-Augmented Generation(RAG)システムの脆弱性であるRAGポイソン攻撃に対する新しい検出技術であるRevPRAGを提案する。 RAG poisoning は、知識データベースに悪意のあるテキストを注入して目的の応答を生成する攻撃です。 RevPRAGはLLMの活性化パターンを分析し、正常な応答と悪性の応答を区別する自動化された検出パイプラインで、さまざまなベンチマークデータセットとRAGアーキテクチャで98%の真の陽性率と1%に近い偽陽性率を達成しました。これは、公的にアクセス可能な知識データベースを使用するRAGシステムのセキュリティ強化に寄与することができる。

Takeaways、Limitations

Takeaways:
LLMの活性化パターン解析による効果的なRAGポイズニング検出技術の提示
高い本物の陽性率と低い偽陽性率を達成し、実際の適用性を示す
RAGシステムのセキュリティ向上に貢献
Limitations:
特定のLLMとデータセットのパフォーマンス評価の結果であるため、他のLLMとデータセットの一般化可能性検証が必要です
新しいタイプのRAG poisoning攻撃に対する検出性能検証が必要
実環境での効率性と拡張性に関するさらなる研究が必要
👍