每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

我们能在模型完成思考之前预测对齐情况吗？迈向监控错位推理模型

Created by
  • Haebom

作者

易少陈、杨正新、史蒂芬·H·巴赫

大纲

本研究探讨了长思维链 (CoT) 的担忧，推理语言模型用它来提升复杂任务的性能，但在对抗环境中，CoT 可能会增加有害的输出。本研究探讨了这些长思维链是否可以用于预测性安全监控，即推理过程是否能提供最终响应对齐的早期信号，从而实现适当的干预。研究人员使用 CoT 文本或激活函数，评估了各种监控方法，包括高性能大规模语言模型、微调分类器和人工干预。具体而言，他们发现，在 CoT 激活函数上训练的简单线性探针在预测安全/不安全的最终响应方面显著优于基于文本的基线模型，F1 分数平均绝对提升 13 个百分点。他们证实，模型潜变量比基于文本的 CoT 提供了更可靠的预测信号。此外，他们还证明了这些探针可以在响应生成之前应用于早期的 CoT 片段，从而允许对齐信号在推理完成之前出现。误差分析表明，文本分类器和线性探针之间的性能差距主要出现在一组响应中，称为“执行性CoT”，其中随着CoT的进展，推理始终与最终响应相矛盾。这些发现适用于各种模型大小、类型和安全基准，表明轻量级探针可以在生成过程中实现实时安全监控和早期干预。

Takeaways，Limitations

•
Takeaways：
◦
基于 CoT 激活的线性探测在预测安全/不安全响应方面优于基于文本的方法。
◦
对齐信号在响应产生之前及早出现，可能提供实时监控和干预的可能性。
◦
该模型的潜在变量比基于文本的 CoT 提供更可靠的预测信号。
◦
轻量级探测器可以实现实时安全监控和早期干预。
•
Limitations：
◦
对于某些类型的响应（例如“表演性 CoT”），基于文本的方法和线性探测之间的性能存在差异。
◦
进一步验证研究的普遍性可能需要对其他模型、基准和背景进行广泛的评估。
◦
实际部署中可能存在复杂性和潜在限制，这可能会影响部署探测器时的性能。
👍
Made with Slashpage