每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

DeNOTS:时间序列的稳定深度神经微分方程

Created by
  • Haebom

作者

伊利亚·库列绍夫、叶夫根尼娅·罗曼科娃、弗拉迪斯拉夫·朱热尔、加林娜·博耶娃、叶夫根尼·沃辛、阿列克谢·扎伊采夫

大纲

本文提出了一种增强神经系数导出 (CDE) 表达能力的新方法,这是一种处理不规则时间序列的自然方法。现有的神经 CDE 通过降低求解器误差容限来调整模型的深度(函数求值次数,NFE),从而提高数值精度。然而,这种方法不足以增强表达能力。本文提出了一种简单有效的替代方案:扩展积分时间范围以增加 NFE 并深化模型。为了解决原始矢量场不受控制的增长问题,我们提出了负反馈 (NF) 技术,该技术在保证稳定性的同时又不限制灵活性。我们利用高斯过程理论对神经微分方程 (ODE) 的风险进行了理论界定,并在四个公共数据集上进行的实验表明,该方法的性能比现有方法(包括神经 RDE 和状态空间模型)高出多达 20%。该方法名为 DeNOTS,兼具表达能力、稳定性和鲁棒性,能够在连续时间域中实现可靠的建模。

Takeaways,Limitations

Takeaways:
我们提出了一种新方法(综合时间范围扩展和负反馈)来有效提高神经 CDE 的表达能力。
通过负反馈确保模型稳定性,并通过提出理论边界确保稳健性。
在各种数据集上表现出优于现有方法的性能。
提出在连续时间域中进行可靠建模的可能性。
Limitations:
需要进一步验证所提出方法的泛化性能。
需要对各类不规则时间序列进行适用性评估。
负反馈参数优化策略还有待进一步研究。
👍