Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Exploit Tool Invocation Prompt for Tool Behavior Hijacking in LLM-Based Agentic System

Created by
  • Haebom

作者

Yuchong Xie, Mingyu Luo, Zesen Liu, Zhixiang Zhang, Kaikai Zhang, Yu Liu, Zongjie Li, Ping Chen, Shuai Wang, Dongdong She

概要

本稿では、大規模言語モデル(LLM)ベースのエージェントシステムにおけるツールコールプロンプト(TIP)のセキュリティ脆弱性を調査します。 LLMベースのエージェントシステムは、ユーザーのクエリ処理、意思決定、および外部ツールの実行を通じてさまざまなタスクを実行します。TIPは、これらのシステムで外部ツールとの対話プロトコルを定義し、LLMがツールを安全かつ正確に使用できるようにする重要なコンポーネントです。しかし、TIPのセキュリティは比較的見過ごされてきました。この研究は、Cursor、Claude Codeなどの主要LLMベースのシステムでのリモートコード実行(RCE)やサービス拒否(DoS)などの攻撃に対する脆弱性を明らかにし、体系的なTIP悪用ワークフロー(TEW)を介して操作されたツール呼び出しを使用した外部ツールの動作の脱臭を示しています。また、LLMベースのエージェントシステムでTIPセキュリティを強化するための防御メカニズムも提案しています。

Takeaways、Limitations

Takeaways:
LLMベースのエージェントシステムのTIPの脆弱性を最初に体系的に分析し、実際のシステムの脆弱性を実証的に示します。
RCEやDoSなどの深刻なセキュリティ脅威を提示し、それに対する防御メカニズムを提案する。
LLMベースのシステムのセキュリティを強化するための重要な研究方向を提示します。
Limitations:
提案された防御メカニズムの実際の効果と性能の追加評価が必要です。
さまざまなLLMベースのエージェントシステムとTIP設計の包括的な分析ではなく、一部のシステムの分析に限定されています。
新しい攻撃技法が登場する可能性とそれに対する防御研究が絶えず必要である。
👍