Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CauKer: classification time series foundation models can be pretrained on synthetic data only

Created by
  • Haebom

作者

Shifeng Xie, Vasilii Feofanov, Marius Alonso, Ambroise Odonnat, Jianfeng Zhang, Themis Palpanas, Ievgen Redko

概要

本論文では、大規模な実時系列データを使用した計算コストのかかる事前学習プロセスなしに、効率的な時系列ベースモデル(TSFM)事前学習のための新しいアルゴリズムであるCauKerを提案します。 CauKerは、ガウスプロセス(GP)カーネル合成と構造因果モデル(SCM)を組み合わせて、現実的な傾向、季節性、非線形相互作用を持つ多様で因果的に一貫した合成時系列データを生成します。さまざまなアーキテクチャと事前学習方式を備えた最先端の分類TSFMの効率的な事前学習のためのデータを生成し、実際のデータセットとは異なり、データセットサイズ(1万から1000万サンプル)とモデル容量(100万から7億8300万パラメータ)の明確なスケーリング法則を示すことを実験的に示しています。

Takeaways、Limitations

Takeaways:
大規模な実データセットへの依存性を減らし、計算コストを削減する効率的なTSFM事前学習方法を提供します。
CauKerによって生成された合成データセットは、規則的なスケーリング法則を示し、モデル開発とパフォーマンス分析に役立つ洞察を提供します。
様々なアーキテクチャと事前学習方式を持つTSFMに適用可能な汎用事前学習データ生成方法を提示する。
Limitations:
CauKerが生成する合成データは、実際のデータのすべての複雑さを完全に反映していない可能性があります。
提示されたスケーリング法則は特定の実験環境に限定され、他の条件では異なるように見えることがあります。
合成データの定性的評価と実際のデータとの比較分析をさらに深く行う必要があります。
👍