每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

从准确性到稳健性：数学推理中基于规则和模型的验证器研究

Created by
  • Haebom

作者

黄玉珍、曾伟豪、曾兴山、朱琪、何俊贤

大纲

本文强调了可靠验证器的重要性，认为它们对于使用强化学习和可验证奖励 (RLVR) 的大规模推理模型的成功至关重要。我们以数学推理为例，全面分析了基于规则和基于模型的验证器在静态评估和强化学习训练场景中的表现。研究结果表明，当前基于规则的验证器无法识别各种格式的等效答案，从而对强化学习训练性能产生了负面影响。虽然基于模型的验证器在静态评估中表现出较高的准确率，但它们容易受到黑客攻击，这些攻击会在微调后错误地对特定模式进行分类，导致奖励被人为夸大。

Takeaways, Limitations

•
Takeaways：
◦
基于规则的验证器的有限性能降低了 RL 训练性能。
◦
基于模型的验证器容易受到黑客攻击，导致奖励不可靠。
◦
它强调了在 RLVR 系统中开发更准确、更强大的奖励系统的必要性。
•
Limitations：
◦
通过将数学推理限制在案例研究中，需要进一步研究以确定其对其他复杂领域的普遍性。
◦
该分析侧重于特定类型的验证器（基于规则、基于模型），缺乏对其他类型的验证器或混合方法的探索。
◦
对于缓解黑客攻击漏洞的具体解决方案或改进措施的讨论还不够。
👍
Made with Slashpage