每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

精度越低,可靠性越高吗?量化对CLIP影响的系统评估(超越精度)

Created by
  • Haebom

作者

艾门·布格拉、丹尼尔·蒙托亚、亚历山德拉·戈麦斯-维拉、法比奥·阿内斯、Chokri Mraidha

大纲

我们评估了量化对视觉语言模型 (VLM) CLIP 大规模性能的影响。通过全面评估可靠性指标和准确率,我们发现根据预训练源的不同,结果可能与直觉相悖。量化能够持续提升低置信度预训练模型的校准效果,并倾向于降低高置信度变体的校准效果。我们证明,尽管校准效果有所下降,但分布外 (OOD) 检测仍可得到改进,并且特定的量化感知训练 (QAT) 方法能够同时提升准确率、校准效果和 OOD 鲁棒性。

Takeaways, Limitations

量化根据预训练模型的校准特性以不同的方式改变校准性能。
即使补偿性能下降,OOD 检测性能仍可得到提高。
QAT 缓解了效率和性能之间的权衡,从而提高了准确性、校准和 OOD 稳健性。
提供有关利用量化高效可靠地部署 CLIP 模型的见解。
本文未提供所使用的具体 QAT 方法的详细信息。
结果对特定预训练模型和数据集的普遍性需要进一步研究。
👍