每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

言语采样：如何缓解模式崩溃并释放法学硕士的多样性

Created by
  • Haebom

作者

张嘉译、Simon Yu、Derek Chong、Anthony Sicilia、Michael R. Tomz、Christopher D. Manning、Weiyan Shi

大纲

本文揭示了模式崩溃（LLM 多样性在训练后对齐过程中下降的现象）的根本原因并非算法限制，而是偏好数据中的典型性偏差。研究人员从理论上证实了这一发现，并在偏好数据集上进行了实证验证。基于此分析，他们提出了一种简单、无需训练的提示策略——言语化抽样 (VS)，以规避模式崩溃。VS 提示模型将一系列响应的概率分布言语化。通过各种实验，他们证明 VS 显著提升了创意写作、对话模拟、开放式问答和合成数据生成等多个领域的性能，尤其显著提升了创意写作领域的多样性。此外，他们发现，VS 的效果往往对性能较好的模型更为显著。

Takeaways, Limitations

•
Takeaways：
◦
我们对 LLM 中的模式崩溃现象提出了一种新的数据驱动视角。
◦
我们提出了言语化采样，这是一种实用的推理时间解决方案，无需训练即可应用，从而提高预训练的生成多样性。
◦
VS的有效性已在创作、对话模拟、开放式问答等各个领域得到证实。
◦
我们观察到，随着模型性能的提高，VS 的效果趋于增强。
•
Limitations：
◦
VS 的有效性可能因不同的提示策略或不同类型的数据集而有所不同。
◦
无法保证 VS 在所有情况下都能完美解决模式崩溃问题。
◦
可能需要进一步分析来确定为什么 VS 在某些模型中表现出更大的优势。
👍
Made with Slashpage