每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

稀疏子网络是否表现出认知一致的注意力?剪枝对显著图保真度、稀疏性和概念一致性的影响

Created by
  • Haebom

作者

萨尼什·苏瓦尔、迪普卡马尔·布萨尔、迈克尔·克利福德、尼迪·拉斯托吉

大纲

虽然神经网络剪枝对模型性能的影响已为人熟知,但其对模型可解释性的影响尚不清楚。本研究探讨了基于大小的剪枝后进行微调如何改变低级重要性图和高级概念表示。我们使用在 ImageNette 上训练的 ResNet-18 模型,根据剪枝级别比较了香草梯度 (VG) 和积分梯度 (IG) 的后验解释,并评估了稀疏性和保真度。此外,我们应用基于 CRAFT 的概念提取来追踪已学习概念的语义一致性变化。

Takeaways, Limitations

轻度到中度的修剪可以提高重要性图的焦点和保真度,同时保持独特而有意义的概念。
过度修剪会通过合并不同的特征同时保持准确性来降低重要性图的稀疏性和概念一致性。
尽管修剪可以将内部表征塑造成类似人类的注意力模式,但过度修剪会妨碍可解释性。
👍