每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

重新审视残差连接：稳定高效的深度网络的正交更新

Created by
  • Haebom

作者

Giyeong Oh、Woohyun Cho、Siyeol Kim、Suhwan Choi、Younjae Yu

大纲

本文提出了正交残差更新 (ORU) 来克服传统残差连接的局限性。传统方法倾向于直接将模块的输出添加到输入流，从而强化或调整现有方向，而本文提出的方法则通过仅向输入流添加正交分量来诱导模块学习新的表示方向。这能够实现更丰富的特征学习和更高效的训练。我们通过实验证明，我们的方法在各种架构（例如 ResNetV2 和 Vision Transformer）以及各种数据集（例如 CIFAR、TinyImageNet 和 ImageNet-1k）上提高了泛化准确率和训练稳定性。例如，我们将 ViT-B 在 ImageNet-1k 上的 top-1 准确率提高了 4.3%。

Takeaways，Limitations

•
Takeaways：
◦
提出了一种新颖的更新策略来克服现有残差连接的 Limitations。
◦
提高了各种架构和数据集的泛化性能和训练稳定性。
◦
通过新的表达方向学习，呈现更丰富的特征学习可能性。
◦
我们确认了显著的性能提升，包括 ViT-B 在 ImageNet-1k 上的 top-1 准确率提高了 4.3%。
•
Limitations：
◦
缺乏对所提出的方法是否会增加计算成本的明确分析。
◦
需要进一步研究对各种其他架构和数据集的可扩展性。
◦
需要优化和提高正交成分提取过程的效率
👍
Made with Slashpage