每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

大型视觉语言模型中压缩投影器的安全威胁

Created by
  • Haebom

作者

张宇东、谢若冰、孙兴武、陈建生、康占辉、王迪、王宇

大纲

选择合适的视觉语言投影器 (VLP) 对于视觉语言模型 (LVLM) 训练的成功至关重要。压缩和非压缩投影器在性能和计算效率方面各有优势。然而,对其安全隐患的深入研究一直缺乏。本研究表明,压缩投影器存在显著的漏洞,允许在对结构信息了解甚少的情况下成功攻破 LVLM,而非压缩投影器则具有强大的安全性。

Takeaways,Limitations

Takeaways:
压缩投影仪可能会导致 LVLM 出现安全漏洞。
未压缩的投影仪比压缩的投影仪提供更强的安全性。
研究人员在选择 VLP 以确保 LVLM 安全时应谨慎。
Limitations:
这项研究主要关注 VLP 的安全性,可能缺乏与其他方面(例如性能)权衡的讨论。
所提供的代码可用于安全研究,但可能需要进一步验证对特定模型或环境的通用性。
👍