每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

二值化神经网络向算法简单性收敛：学习即压缩假设的实证支持

Created by
  • Haebom

作者

Eduardo Y. Sakabe、Felipe S. Abrah ao、Alexandre Sim oes、Esther Colombini、Paula Costa、Ricardo Gudwin、Hector Zenil

大纲

本文探讨了理解和控制神经网络信息复杂性的问题。我们指出，现有的基于熵的损失函数和统计指标往往无法捕捉神经网络结构中固有的算法规律。因此，我们提出了一种新颖的方法，利用算法信息论对二值神经网络 (BNN) 的学习动态进行形式化和因果分析。我们通过应用算法概率 (AP) 和基于通用分布的块分解方法 (BDM) 来估计算法复杂性。结果表明，这种方法比熵更能跟踪训练过程中的结构变化，并且与训练损失的相关性更强。这使得我们将学习视为一个算法压缩过程，表明学习对应于结构规律的逐渐内化。总而言之，本文对学习进度进行了原则性估计，并基于信息论、复杂性和可计算性的基本原理，提出了一个复杂性感知学习和正则化的框架。

Takeaways, Limitations

•
Takeaways：
◦
提出了一种从算法压缩的角度理解神经网络学习过程的新框架。
◦
我们通过实证证明，使用 BDM 的算法复杂度测量与训练损失的相关性比基于熵的方法更强。
◦
复杂性感知学习和正则化的新方向。
◦
提供学习进度的原则性评估。
•
Limitations：
◦
由于 BDM 是算法复杂度的近似值，因此需要进一步研究来确定其准确性。
◦
分析仅限于二元神经网络（BNN），并且需要验证对一般神经网络的可扩展性。
◦
需要进一步研究所提出的框架的实际应用和实用性。
👍
Made with Slashpage