本論文は、さまざまな幾何構造（観測または非観測）を持つ構造化データの表現学習という基本的な問題について、メッセージ伝達ニューラルネットワーク（MPNN）に基づいてエネルギー制約拡散モデルを提案します。物理システムからインスピレーションを得て、多様体上の拡散の帰納的偏向とエネルギー最小化の階層別制約を統合します。拡散演算子と拡散過程によって暗示的に減少するエネルギー関数との間の一対一の対応関係を明らかにし,エネルギー制約拡散システムを解く有限差分反復が観測または潜在構造で動作する様々なタイプのMPNNの伝搬層を導くことを示した。これにより、MLP、GNN、Transformerなどのメッセージ配信（または特別な場合）で計算フローを表すことができる一般的なニューラルネットワークアーキテクチャの統合された数学的フレームワークが提供されます。この洞察に基づいて、原則に基づくエネルギー制約拡散フレームワークから導かれるグローバルアテンション層を持つ新しいタイプのニューラルメッセージ配信モデルであるDIFFormer（Diffusion-inspired Transformer）を考案します。実際のネットワーク、画像、テキスト、物理粒子など、さまざまなデータセットで、データ構造が観測（グラフ形式）、部分的に観測される、または完全に非観測されたシナリオでは、新しいモデルが有望なパフォーマンスを達成することを示しています。
