每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

使用红旗代币的 LLM 危害缓解生成方法

Created by
  • Haebom

作者

大卫·多布雷、梅赫纳兹·莫法卡米、索菲·霍纽克斯、里奥·施文、高蒂尔·吉德尔

大纲

为了增强大规模语言模型 (LLM) 的安全性，我们提出了一种方法，在生成有害内容时将特殊的“红旗”标记插入模型词汇表。此标记插入可鼓励模型明确学习有害性的概念，同时最大限度地减少对自然语言输出分布的影响。此外，利用模型的泛化能力，我们利用上下文学习 (ICL) 在生成红旗标记时引发反思性推理，从而帮助避免或自我纠正有害响应。这补充了现有的安全技术，并且可以轻松评估，而无需评估响应的无害性。

Takeaways, Limitations

•
Takeaways：
◦
提高 LLM 安全性的新方法：利用红旗令牌识别和响应有害内容。
◦
最小化模型效用退化：对自然语言生成分布的影响较小。
◦
利用泛化技能：通过 ICL 提高对新语言和新情况的适应能力。
◦
评估的简易性：可以通过插入Token来评估，无需评估答案的安全性。
•
Limitations：
◦
需要对实际危害影响进行定量评估。
◦
危险信号：令牌可能被误认和滥用。
◦
模型复杂性和训练成本可能会增加。
◦
红旗令牌可能无法完全删除有害内容。
👍
Made with Slashpage