每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

表征收敛：相互提炼其实是一种正则化形式

Created by
  • Haebom

作者

谢正鹏、曹嘉航、王昌伟、杨范、Marco Hutter、张强、张健雄、徐人静

大纲

本文认为，强化学习策略之间的相互蒸馏作为一种隐式正则化机制，可以防止对不相关特征的过拟合。我们首次从理论上证明了，提升策略对不相关特征的鲁棒性可以提升泛化性能。实验上，我们证明了策略之间的相互蒸馏有助于提升这种鲁棒性，从而能够自发地涌现像素输入的不变表征。我们的目标并非追求最佳性能，而是阐明泛化的基本原理并加深对其机制的理解。

Takeaways, Limitations

•
Takeaways：
◦
强化学习中过度拟合的新方法（倒数蒸馏技术）
◦
论证了对不相关特征的鲁棒性与泛化性能之间的理论联系。
◦
观察像素输入中不变表示的自发出现并阐明其机制。
•
Limitations：
◦
未能达到尖端性能
◦
需要进一步研究来确定所提出的理论和实验结果的普遍性。
👍
Made with Slashpage