この論文は、さまざまな幾何構造（観測または非観測）を持つ構造化データの表現学習の基本的な問題について説明します。従来のメッセージ配信ニューラルネットワーク（MPNN）に代わる新しいモデルとして、物理システムに触発されたエネルギー制約拡散モデルを提案します。このモデルは、多様体上の拡散の帰納的偏向とエネルギー最小化の階層的制約を組み合わせます。本論文は,拡散演算子と拡散過程によって暗黙的に減少するエネルギー関数との間の一対一対応関係を明らかにし,エネルギー制約拡散システムを解くための有限差分反復が観測されたり,潜在的な構造で動作する様々なタイプのMPNNの伝搬層を誘導したことを示した。これにより、MLP、GNN、Transformerなどのメッセージ配信（または特別な場合）で計算フローを表すことができる一般的なニューラルネットワークアーキテクチャの統合された数学的フレームワークが提供されます。この洞察に基づいて、原則に基づくエネルギー制約拡散フレームワークから派生したグローバルアテンション層を持つ拡散に触発された新しいタイプのメッセージ配信モデルであるDiffusion-inspired Transformersを提案します。実際のネットワーク、画像、テキスト、物理粒子など、さまざまなデータセットで、観測された（グラフ形式）、部分的に観測された、または完全に観測されていないデータ構造のシナリオで、新しいモデルが有望なパフォーマンスを達成していることを示しています。
