每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

言语采样：如何缓解模式崩溃并释放法学硕士的多样性

Created by
  • Haebom

作者

张嘉译、Simon Yu、Derek Chong、Anthony Sicilia、Michael R. Tomz、Christopher D. Manning、Weiyan Shi

大纲

本文找出了“模式崩溃”现象的根本原因，即训练后对齐导致 LLM 的多样性降低，并提出了一种简单的提示策略——言语化抽样 (VS)。与以往研究不同，本文认为模式崩溃并非算法限制，而是偏好数据中“典型性偏差”的根本数据层面原因。提出的 VS 通过诱导模型将一系列响应的概率分布言语化来解决模式崩溃问题。实验结果表明，VS 显著提升了创意写作、对话模拟、开放式问答和合成数据生成方面的表现，且不影响准确性和鲁棒性。

Takeaways, Limitations

•
Takeaways：
◦
研究发现，训练后对齐过程中出现模式崩溃的原因是由于数据中的典型性偏差。
◦
我们提出了言语采样（VS），一种解决模式崩溃的实用推理时间提示策略。
◦
VS 在各种任务中都表现出了性能的提升，特别是在创意写作方面。
◦
我们发现模型性能越好，VS的效果就越大。
•
Limitations：
◦
需要进一步研究来确定 VS 的效果是否同样适用于所有 LLM 和所有任务。
◦
需要进一步分析典型性偏见的精确机制及其与其他类型偏见的相互作用。
◦
VS提升性能的具体原因还需要进一步深入分析。
👍
Made with Slashpage