每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

对于 DPO 来说数据什么最重要？

Created by
  • Haebom

作者

潘宇、蔡中泽、陈冠廷、钟淮阳、王崇焕

大纲

直接偏好优化 (DPO) 是一种简单有效的方法，无需学习奖励模型即可将大规模语言模型 (LLM) 与人类偏好对齐。本研究系统地研究了对 DPO 性能最重要的偏好数据特征。我们证明，所选答案的质量在优化 DPO 目标函数中起着至关重要的作用，而被拒绝的答案的质量可能影响相对有限。在线 DPO 配置的所选答案行为类似于监督学习，并且在各种任务中进行的实验表明，提高所选答案的质量可以持续提升性能。

Takeaways, Limitations

•
从偏好数据中选择的响应的质量对 DPO 性能有最显著的影响。
•
被拒绝的回复的质量对 DPO 性能的影响相对较小。
•
在线 DPO 类似于针对选择性响应的监督学习。
•
提高所选响应的质量可以持续提高各种任务的性能。
•
我们研究了混合策略数据的好处。
•
我们通过大量实验验证了我们的建议。
•
（论文中未指定Limitations）
👍
Made with Slashpage