Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MORPH: Shape-agnostic PDE Foundation Models

Created by
  • Haebom

作者

Mahindra Singh Rautela, Alexander Most, Siddharth Mansingh, Bradley C. Love, Ayan Biswas, Diane Oyen, Earl Lawrence

概要

本論文は,部分微分方程式(PDE)のための形態不変の自己回帰ファンデーションモデルであるMORPHを紹介する。 MORPHは、さまざまなデータディメンション(1D-3D)、解像度、スカラー、およびベクトル成分を組み合わせた複数のフィールドを処理できる畳み込みビジョントランスフォーマバックボーンに基づいています。このアーキテクチャは、(i) ローカル相互作用をキャプチャするためにスカラーチャネルとベクトルチャネルを一緒に処理するコンポーネントごとの畳み込み、(ii) 異なる物理フィールド間情報をモデル化し、選択的に伝播するフィールド間クロスアテンション、(iii) 表現力を維持しながら計算負担を減らすために、個々の空間と時間軸に沿った全時空間磁気アテンションを行います.さまざまな異機種PDEデータセットで複数のモデルバリアントを事前トレーニングし、さまざまなダウンストリーム予測タスクへの転送を評価します。 MORPHは、フルモデルの微調整とパラメータ効率の良い低ランクアダプタ(LoRA)を使用して、ゼロショットとフルショットの一般化の両方で、最初からトレーニングされたモデルよりも優れています。広範な評価では、MORPHは強力なベースラインと最新モデルと一致または上回ります。

Takeaways、Limitations

さまざまなデータ次元、解像度、混合スカラー、およびベクトル成分を持つ異種時空間データセットを処理する強力なモデルアーキテクチャを提示します。
ゼロショットとフルショットの一般化の両方で、ベースラインと最新モデルよりも優れたパフォーマンスを達成。
科学的観測の異機種およびマルチモード特性から学習するための柔軟で強力なバックボーンを提供します。
計算負担を軽減するために軸アテンションを活用。
ソースコード、データセット、モデルを公開して再現性を高めます。
(論文に記載されているLimitationsはありません)
👍