Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Attention as an Adaptive Filter

Created by
  • Haebom

作者

Peter Racioppo

概要

本稿では、適応型フィルタアテンション（AFA）という新しいアテンションメカニズムを提案します。 AFAは、学習可能な動的モデルをアテンション重み計算に直接統合します。クエリとキーを直接比較する代わりに、入力シーケンスを線形確率微分方程式（SDE）の不連続観測値としてモデル化します。同時に,対角化可能な状態行列と雑音共分散をもつ線形動的モデルを適用し,微分リヤプノフ方程式の閉鎖解を用いて動的相互不確実性を効率的に伝播するアテンションはこの線形SDEの最大尤度として自然に現れ、アテンションの重みは伝播された相互精度に基づく堅牢な残差再重みに対応します。状態行列の固有値に対する追加の制約を課すことで、標準アテンションと同じ計算とメモリの複雑さを持つ単純化されたバリエーションを得ることができます。ダイナミックな要素とプロセスノイズが消える極端な焼却度近似を使用すると、一般的な内的アテンションを回復できます。

Takeaways、Limitations

•
Takeaways:
◦
学習可能な動的モデルを組み込んだアテンション機構の性能向上の可能性を提示
◦
線形SDEとリヤプノフ方程式を用いた効率的な不確実性伝搬
◦
標準アテンションと同じ計算とメモリの複雑さを維持しながら、向上したパフォーマンスを提供する可能性。
◦
一般的な内的アテンションの一般化された形態を提供する。
•
Limitations:
◦
提案されたAFAの実際の性能と一般化能力の実験的検証の欠如
◦
線形SDEと焼却度近似という仮定の制限
◦
実際の応用分野における効率性と適用性に関する追加研究の必要性
👍
Made with Slashpage