Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

On the Security of Tool-Invocation Prompts for LLM-Based Agentic Systems: An Empirical Risk Assessment

Created by
  • Haebom

作者

Yuchong Xie, Mingyu Luo, Zesen Liu, Zhixiang Zhang, Kaikai Zhang, Yu Liu, Zongjie Li, Ping Chen, Shuai Wang, Dongdong She

概要

この論文では、大規模言語モデル(LLM)ベースのエージェントシステムでのツールコールプロンプト(TIP)のセキュリティ脆弱性について検討します。 LLMベースのエージェントシステムは、ユーザーのクエリ処理、意思決定、外部ツールの実行など、さまざまな分野で複雑なタスクを実行します。 TIPは、外部ツールとの対話プロトコルを定義し、LLMがツールを安全かつ正確に使用するように導く重要なコンポーネントです。しかし、TIPのセキュリティは比較的見過ごされてきました。この論文は、Cursor、Claude Codeなどの主要なLLMベースのシステムが、リモートコード実行(RCE)やサービス拒否(DoS)などの攻撃に対して脆弱であることを示しています。操作されたツール呼び出しを通じて外部ツールの動作を傍受する体系的なTIP悪用ワークフロー(TEW)を提示し、LLMベースのエージェントシステムのTIPセキュリティを強化するための防御メカニズムを提案します。

Takeaways、Limitations

Takeaways:
LLMベースのエージェントシステムのTIPセキュリティ脆弱性を体系的に分析および検証します。
主要LLMベースシステムのRCEおよびDoS攻撃の可能性を実証的に提示します。
TIPセキュリティを強化するための具体的な防御メカニズムの提案。
LLMベースシステムのセキュリティ強化研究に重要なTakeaways提供
Limitations:
提案された防御メカニズムの実際の効果と性能の追加評価が必要です。
さまざまなLLMおよびエージェントシステムの一般化可能性レビューが必要です。
新しい攻撃技術と進化するLLMエージェントシステムの継続的な研究が必要
👍