每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

SFTMix：使用 Mixup Recipe 提升语言模型指令调整

Created by
  • Haebom

作者

肖雨馨、张书剑、周文轩、Marzyeh Ghassemi、赵三强

大纲

本文提出了一种名为 SFTMix 的新方法，用于提升大规模语言模型 (LLM) 的方向跟随能力。SFTMix 利用模型的训练动态特性来识别和插入具有不同置信度的样本，而无需依赖高质量的监督微调 (SFT) 数据集。这种基于混合的正则化技术可以防止过拟合并提升泛化能力，从而在不同的 LLM 系列和 SFT 数据集上实现一致的性能提升。

Takeaways, Limitations

•
Takeaways：
◦
SFTMix 提出了一种创新方法，无需依赖数据质量即可改进 LLM 指令调整。
◦
我们利用训练动态来区分具有不同置信度水平的示例，并利用这一点来解决过度拟合和泛化问题。
◦
它显示了各种 LLM 系列和 SFT 数据集的一致性能改进。
◦
它展示了数据选择、计算约束和广泛应用适用性的灵活性。
•
Limitations：
◦
摘要中没有明确提及具体的 Limitations。
👍
Made with Slashpage