Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CITRAS: Covariate-Informed Transformer for Time Series Forecasting

Created by
  • Haebom

作者

ヨスケヤマグチ、イッセイスミツ、ウェンペンワイ

概要

本稿では、時系列予測で共変量を効果的に活用する新しいモデルCITRASを提案します。既存のモデルが将来の共変量とターゲット変数の長さの差を考慮せず、ターゲット変数と共変量の間の依存関係を正確に捉えることが困難であるという問題を解決するために、CITRASはデコーダ専用のトランスフォーマーに基づいて、将来の共変量を含むマルチターゲット、過去、および将来の共変量を柔軟に活用しています。特に、パッチ単位クロス変数アテンションに「キー値(KV)シフト」と「アテンションスコアスムージング」という2つの新しいメカニズムを導入し、将来の共変量をターゲット変数予測にスムーズに統合し、局所的な精度を維持しながらグローバルな変数間依存性を捉えます。実験の結果、CITRASは13の実際のデータベンチマークで最先端のモデルを上回る性能を示しました。

Takeaways、Limitations

Takeaways:
将来の共変量を活用して時系列予測精度を向上させる新しい方法の提示
様々なタイプの時系列データに適用可能な汎用モデル構造の提示
パッチ単位交差変数アテンション機構による効果的な共変量‐ターゲット変数依存性学習可能性の実証
さまざまな実データベンチマークで最先端のパフォーマンスを達成
Limitations:
提案モデルの計算複雑度とメモリ使用量の解析不足
特定のタイプの時系列データの一般化性能に関するさらなる研究が必要
「KVシフト」と「アテンションスコアスムージング」メカニズムの最適パラメータ設定に関するさらなる研究が必要
他の種類のトランスフォーマー構造との比較分析が不足
👍