每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

利用基于 LLM 的代理系统中的工具行为劫持工具调用提示

Created by
  • Haebom

作者

谢宇冲、罗明宇、刘泽森、张志祥、张凯凯、刘宇、李宗杰、陈平、王帅、佘东东

大纲

本文探讨了基于大规模语言模型 (LLM) 的代理系统中工具调用提示 (TIP) 的安全漏洞。基于 LLM 的代理系统通过处理用户查询、做出决策和调用外部工具来执行各种任务。TIP 是这些系统的关键组件，它定义与外部工具的交互协议，并指导 LLM 安全准确地使用这些工具。然而，TIP 的安全性却相对被忽视。本研究揭示了主流 LLM 系统（例如 Cursor 和 Claude Code）中存在的漏洞，这些漏洞可能遭受远程代码执行 (RCE) 和拒绝服务 (DoS) 等攻击。此外，我们通过系统化的 TIP 利用工作流 (TEW) 演示了如何利用精心设计的工具调用劫持外部工具行为。此外，我们提出了一种防御机制来增强基于 LLM 的代理系统中 TIP 的安全性。

Takeaways, Limitations

•
Takeaways：
◦
我们首次系统地分析了基于LLM的代理系统的TIP漏洞，并在实际系统中实证证明了它们的漏洞。
◦
它提出了 RCE 和 DoS 等严重的安全威胁，并提出了针对这些威胁的防御机制。
◦
为加强基于 LLM 的系统的安全性提出重要的研究方向。
•
Limitations：
◦
需要进一步评估所提出的防御机制的实际有效性和性能。
◦
它仅限于对某些系统的分析，而不是对各种基于LLM的代理系统和TIP设计的全面分析。
◦
有可能会出现新的攻击技术，因此有必要持续研究如何防御这些技术。
👍
Made with Slashpage