每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

流诱导对角高斯过程

Created by
  • Haebom

作者

Moule Lin、Andrea Patane、井伟鹏、关书豪、Goetz Botterweck

大纲

FiD-GP 是一个压缩框架,它结合了紧凑的引导权重矩阵,将神经网络的权重不确定性投影到低维子空间。它通过正则化流字典和谱归一化增强了表达能力,并通过数值稳定的投影机制将引导子空间与特征梯度几何对齐。利用 FiD-GP 的预测框架,我们可以设计一个用于分布外 (OoD) 检测的单通道投影。与基于 SVGP 的基线相比,它在回归、图像分类、语义分割和 OoD 检测基准上提高了不确定性估计性能,满足了严格的谱残差边界,理论上保证了 OoD 检测的准确性,并显著压缩了神经网络的存储需求。

Takeaways, Limitations

通过几个步骤降低贝叶斯训练成本。
将参数压缩约 51%。
将模型尺寸缩小约 75%。
与最先进的准确性和不确定性估计一致。
推理计算随着归纳权重的数量而增加。
👍