每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

稀疏子网络是否表现出认知一致的注意力？剪枝对显著图保真度、稀疏性和概念一致性的影响

Created by
  • Haebom

作者

萨尼什·苏瓦尔、迪普卡马尔·布萨尔、迈克尔·克利福德、尼迪·拉斯托吉

大纲

我们研究了为保持神经网络性能而进行的剪枝对模型可解释性的影响。我们研究了基于大小的剪枝后进行微调对低级重要性图和高级概念表示的影响。使用在 ImageNette 数据集上训练的 ResNet-18，我们使用原始梯度 (VG) 和积分梯度 (IG) 比较不同剪枝级别下的重要性图，评估其稀疏性和保真度。我们使用基于 CRAFT 的概念提取来跟踪已学习概念的语义一致性变化。轻度剪枝可提高重要性图的聚焦性和保真度，并保留语义上有意义的概念。重度剪枝可降低重要性图的稀疏性和概念一致性，同时保持准确性。

Takeaways, Limitations

•
Takeaways：
◦
轻度修剪可以提高可解释性。
◦
过度修剪会妨碍可解释性。
◦
修剪可以将内部表征塑造成以人为中心的注意力模式。
•
Limitations：
◦
研究模型和数据集的局限性。
◦
可解释性指标的局限性。
◦
需要进一步研究来确定普遍性。
👍
Made with Slashpage