每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

Time2time:通过对隐藏状态进行因果干预来模拟时间序列基础模型中的罕见事件

Created by
  • Haebom

作者

Debdeep Sanyal、Aaryan Nagpal、Dhruv Kumar、Murari Mandal、Saurabh Deshpande

大纲

虽然基于 Transformer 的模型擅长预测日常模式,但它们究竟是内化语义概念(例如市场状况)还是仅仅拟合曲线,仍然存在疑问。此外,这些内部表征是否可以用来模拟罕见且高风险的事件(例如市场崩盘)也存在疑问。为了解决这些问题,本文提出了一种名为激活移植的因果干预技术。该技术通过在前向传播过程中将一个事件(例如过去的崩盘)的统计矩应用于另一个事件(例如一段平静期)来操纵隐藏状态。此过程确定性地控制预测:注入崩盘语义会引发向下预测,而注入平静语义则会抑制崩盘并恢复稳定性。除了二元控制之外,我们还发现该模型编码了事件严重程度的概念,并且潜在向量范数与系统冲击的幅度直接相关。该技术已在两种架构(Toto 和 Chronos)上进行了验证,表明可操作和语义上知情的表示是大规模时间序列转换器的强大属性。

Takeaways, Limitations

Takeaways:
我们证明该模型可以内化市场条件等语义概念并操纵它们来控制预测。
通过激活移植技术实现“假设”分析,可用于战略压力测试。
将模型内部表征的可解释性从事后归因转变为直接因果干预。
通过在两种不同的架构(Toto、Chronos)上进行验证,确保了结果的稳健性。
Limitations:
本文没有明确提出具体的 Limitations 信息(但提供了一般的 Limitations:模型复杂性、数据依赖性、对特定市场的普遍性等)
👍