每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

谱崩溃导致深度持续学习中可塑性的丧失

Created by
  • Haebom

作者

何乃成、郭凯成、Arjun Prakash、Saket Tiwari、若雨涛、Tyrone Serapio、Amy Greenwald、George Konidaris

大纲

本文探讨了深度连续学习中深度神经网络在未进行参数重新初始化的情况下无法学习新任务的原因，即塑性损失。我们发现，这种失败之前，在新任务初始化期间会出现Hessian谱坍塌现象。这种现象会导致有意义的曲率方向消失，梯度下降变得低效。为了描述成功学习的必要条件，我们引入了$\tau$-可训练性的概念，并证明了当前的塑性保持算法可以集成到这个框架中。通过近似Hessian的Kronecker分解直接针对谱坍塌现象，我们提出了两种正则化增强方法：保持较高的有效特征秩和施加L2惩罚。在连续监督学习和强化学习任务上的实验表明，结合这两种正则化方法可以有效地保持塑性。

Takeaways, Limitations

•
Takeaways：
◦
深度连续学习中可塑性损失问题的新认识：Hessian谱坍缩是主要原因。
◦
通过$\Tau$-trainability 的概念提供集成可塑性保持算法的框架。
◦
通过基于 Hessian 的正则化来保持可塑性的实用方法：保持高效特征等级和 L2 惩罚。
◦
证明所提出的方法在持续监督学习和强化学习任务中的有效性。
•
Limitations：
◦
Hessian 近似和正则化方法的计算复杂度。
◦
需要进一步研究来确定最佳超参数设置。
◦
需要检查对其他持续学习场景的普遍性。
👍
Made with Slashpage