每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

对比损失和三重态损失：方差分析和优化行为

Created by
  • Haebom

作者

曾东火

大纲

本文从理论和实证角度比较了深度度量学习中广泛使用的对比损失和三重态损失的表征质量。我们重点关注类内和类间方差以及优化行为（例如贪婪更新），并在合成数据和真实数据集（例如 MNIST 和 CIFAR-10）上开展了特定任务的实验。我们发现，三重态损失能够保持更大的类内和类间方差，从而支持细粒度的区分。另一方面，对比损失倾向于压缩类内嵌入，从而掩盖细微的语义差异。此外，通过分析损失衰减率、活跃率和梯度范数，我们证明对比损失会引入许多较小的初始更新，而三重态损失产生的更新较少，但更稳健，有助于在具有挑战性的样本上进行学习。在 MNIST、CIFAR-10、CUB-200 和 CARS196 数据集上进行的分类和检索任务的结果表明，三重态损失的表现更佳。

Takeaways，Limitations

•
Takeaways：
◦
三重态损失可用于保留细节，而对比损失可用于更平滑、更全面的嵌入细化。
◦
三重态损失倾向于关注硬样本。
◦
对比损失在早期阶段会引起许多小的更新。
•
Limitations：
◦
本研究仅限于特定数据集（MNIST、CIFAR-10、CUB-200、CARS196），需要进一步研究以确定其对其他数据集的普遍性。
◦
缺乏对特定优化算法（例如 Adam）的影响以及取决于超参数的性能变化的深入分析。
◦
尚未对这两种损失函数的组合或变化进行探索。
👍
Made with Slashpage