每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

注意力机制作为自适应滤波器

Created by
  • Haebom

作者

彼得·拉乔波

大纲

自适应滤波注意力机制 (AFA) 是一种新颖的注意力机制，它将可学习的动态模型直接集成到注意力权重的计算中。它不是直接比较查询和键，而是将输入序列建模为线性随机微分方程 (SDE) 的离散观测值。通过同时施加具有可对角化状态矩阵和噪声协方差的线性动态模型，它使用微分李雅普诺夫方程的闭式解有效地传播成对不确定性。注意力机制自然而然地成为该线性 SDE 的最大似然解，注意力权重对应于基于残差的稳健的成对精度重加权。对状态矩阵的特征值施加额外约束，可以得到一个简化的变体，其计算和内存复杂度与标准注意力机制相同。在动态和过程噪声消失的极限下，通过小角度近似，它可以恢复典型的内积注意力机制。

Takeaways, Limitations

•
提出一种新的注意力机制，自适应过滤注意力（AFA）。
•
将可学习的动态模型集成到注意力权重计算中。
•
使用线性 SDE 对输入序列进行建模
•
存在一个简化的变体，其计算和内存复杂度与标准注意力相同。
•
在动态和过程噪声消失的极端情况下，标准注意力恢复。
👍
Made with Slashpage