每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

本地 LLM 部署的中间路径：在不牺牲模型机密性的前提下保护隐私

Created by
  • Haebom

作者

黄涵波、李一涵、蒋博文、蒋波、刘林、孙若雨、刘卓涛、梁世宇

大纲

本文介绍了 SOLID 框架，该框架旨在解决注重隐私的用户在自有基础设施（本地）上部署大规模语言模型 (LLM) 时面临的安全漏洞。本文分析了基于查询的蒸馏攻击如何针对受保护层、保护底层的重要性以及保护与定制之间的权衡。基于此分析，SOLID 提出了一种有效的指标，用于在安全环境中安全地部署底层，并确定理想的隐藏层数量以优化权衡。在五个模型（参数数量从 13 亿到 700 亿不等）上的实验表明，SOLID 在保护与定制之间实现了比现有方法更好的平衡。

Takeaways, Limitations

•
Takeaways：
◦
我们发现，通过基于查询的蒸馏攻击可以实现受保护层的模型复制。
◦
我们发现，低层安全性比上层安全性对蒸馏攻击具有更强的防御能力，并且对定制性能的影响是相似的。
◦
确定安全层数量和定制灵活性之间的权衡，并提出优化它们的指标。
◦
通过 SOLID 框架改善模型安全性和定制化之间的平衡。
•
Limitations：
◦
作为专注于特定攻击类型（基于查询的蒸馏攻击）的安全解决方案，其对其他类型攻击的防御能力可能需要进一步研究。
◦
需要进一步验证 SOLID 在不同模型大小和架构中的通用性。
◦
需要进一步研究如何最大限度地减少安全下层的性能下降。
👍
Made with Slashpage